推荐黄石网站建设,seo外包服务方案,wordpress修改文字大小,北京注册公司地址0. 引言
solr作为搜索引擎#xff0c;常用在我们对于搜索速度有较高要求且大数据量的业务场景#xff0c;我们之前已经配置过英文分词器#xff0c;但是针对中文分词不够灵活和实用#xff0c;要实现真正意义上的中文分词#xff0c;还需要单独安装中文分词器 solr快速上…0. 引言
solr作为搜索引擎常用在我们对于搜索速度有较高要求且大数据量的业务场景我们之前已经配置过英文分词器但是针对中文分词不够灵活和实用要实现真正意义上的中文分词还需要单独安装中文分词器 solr快速上手solr简介及安装一 solr快速上手核心概念及solr-admin界面介绍二 solr快速上手managed-schema标签详解三 solr快速上手创建核心/索引/core四 solr快速上手配置从mysql同步数据五 solr快速上手实现从mysql定时自动同步数据六 1. IK中文分词器简介
IK中文分词器是一个国人开源的基于java开发的轻量级中文分词器能够实现对中文进行自然语言处理并且支持自定义分词库IK分词器本身也支持英文和数字的分词满足中英文混合的业务场景。
为什么需要中文分词器 我们可以在solr Analysis中进行分词采用默认的英文分词器可以看到中文被切分成了单个汉字而按照自然语言来讲我们更希望将其分词为俺,中国,man这样本身也符合语言习惯同时不用单个字分词也节约了存储空间所以我们需要更加灵活的中文分词器
这种
2. IK分词器安装
1、下载ik分词器版本与solr版本保持一致 下载地址https://central.sonatype.com/artifact/com.github.magese/ik-analyzer/8.2.0 在Versions页面选择solr对应版本的点击Browse选择ik-analyzer-8.2.0.jar下载 2、将该jar包上传到solr服务器的server/solr-webapp/webapp/WEB-INF/lib目录下或者你也可以直接在服务器上使用wget指令下载 3、修改对应核心的managed-schema或schema.xml配置文件新建一个字段类型text_ik
fieldType nametext_ik classsolr.TextFieldanalyzer typeindextokenizer classorg.wltea.analyzer.lucene.IKTokenizerFactory useSmartfalse confik.conf/filter classsolr.LowerCaseFilterFactory//analyzeranalyzer typequerytokenizer classorg.wltea.analyzer.lucene.IKTokenizerFactory useSmartfalse confik.conf/filter classsolr.LowerCaseFilterFactory//analyzer/fieldType4、同时我们把需要修改分词器的字段的分词器调整一下比如这里我们将remarks字段修改为中文分词器
field nameremarks typetext_ik indexedtrue storedtrue requiredtrue multiValuedfalse /5、重启solr
service solr stop
service solr start这里因为我的solr配置了开机自启加入了service所以可以直接用service管理启动停止如果没有配置使用solr本身的启动停止指令即可
./bin/solr stop -all
./bin/solr start -force6、查看分词效果
我们再次进行分词这次选择中文分词器然后查看分词效果可以看到这次分词就成了词组而不是之前的单个字这样后续的匹配效果也更佳 同时因为remarks字段配置了IK分词器我们也直接直接用该字段测试分词效果 配置中文分词器后历史数据没有达到对应效果
我们修改分词器后使用remarks查询发现尽管有数据还是查询不出来 我们上述进行分词测试“送货”应该是能查询出来的但是没有匹配上这是因为怎么回事呢
这是由于历史的数据已经按照之前的分词配置创建好了分词库修改分词器并不会让历史数据重新创建分词想实现这个效果那就要重新加载索引数据
1删除历史索引数据 2重新加载索引 3重启solr
4重新导入即使用full-import即可 5再次查询发现已经可以正常查询出数据了 3. 总结
至此我们针对IK中文分词器的简单使用就结束了 实际上上手使用并不困难难的是在复杂业务场景下的各类性能需求但这些也不是我们在“快速上手”专栏所需考虑的了对于陌生知识也希望大家保持好奇减少恐惧大部分的使用场景实际上是简单的 但同时也要对熟悉的知识保持敬畏永远不要自大
还是那句话动手试试吧
