已将绑定域名给另一个网站,北京中风险地区,网站内做动图,域名备案时网站名称Apache Solr 简介
Solr是Apache的顶级开源项目#xff0c;使用java开发 #xff0c;基于Lucene的全文检索服务器。 Solr比Lucene提供了更多的查询语句#xff0c;而且它可扩展、可配置#xff0c;同时它对Lucene的性能进行了优化。
安装
下载 : 下载地址解压 : tar -zxv…Apache Solr 简介
Solr是Apache的顶级开源项目使用java开发 基于Lucene的全文检索服务器。 Solr比Lucene提供了更多的查询语句而且它可扩展、可配置同时它对Lucene的性能进行了优化。
安装
下载 : 下载地址解压 : tar -zxvf solr-9.3.0.tgz -C .修改solr启动参数取消健康检查否则启动会报警告cd /opt/solr/solr-9.3.0/bin/vim solr.in.sh修改内容 SOLR_ULIMIT_CHECKSfalse
启动
solr不推荐使用root账户启动这点与es也相同当然可以直接用-force参数强制启动
./solr start -force如果需要修改端口可以通过-p参数指定
./solr start -p 8089 -force启动成功可以看到日志打印
➜ bin ./solr start -force
Waiting up to 180 seconds to see Solr running on port 8983 [|]
Started Solr server on port 8983 (pid3786). Happy searching!➜ bin访问服务器ip:8983可查看到solr管理界面
http://localhost:8983/solr/#/ 主要概念
core 在es中有索引这个概念相当于mysql中的表与mysql中的索引区分开来而在solr中称之为核心 core, 所以我们可以看到页面上有一个core admin就是用来管理核心的个人更喜欢将其称之为索引与es的概念形成关联记忆。 和数据库一样solr的数据就是由一个个core组成。 doc doc全称document es中也有相同的概念相当于数据库中的一行数据一个doc也就表示的一个core中的一条数据 Schema Schema类似于数据库中的表结构以schema.xml的文本形式存在于conf目录下在添加数据到索引中时需要配置Schema。schema中包含字段、字段类型、唯一键 分词 举个例子我们想要搜索查询沙县小吃那么传统的模糊查询是使用前后模糊匹配类似 沙县小吃 这样的匹配模式但如果我们的内容只有“沙县”没有小吃时就会导致匹配不到我们想要的信息。而分词不同分词首先就将我们的搜索文本分割成一个个的词组比如沙县、小吃然后分别匹配这些分词在哪个数据中出现的将其匹配出来并计算相关度得分。 倒排索引 说明了分词我们需要继续讲解倒排索引也叫反向索引来帮助大家理解solr为什么能实现毫秒级的搜索体验 如下图为普通的正向索引一句话被对应分割成了一组分词当我们查询china时会去各个文档的分词组中查询是否存在这样的做法需要遍历每个文档数据量较大时明显就很慢了 而逆向索引的处理刚好相反以分词为存储的主键文档ID为值这样能直接通过分词查询出哪些文档存在该关键字通过文档ID是顺序存储的那么也就意味着是有压缩空间的具体大家可以参考之前书写的关于ES的分词压缩算法核心思想类似浅谈倒排索引的两种压缩算法FOR算法和RBM算法 倒排索引的存储方式其核心优势就在于当数量特别大时其在性能的提高和空间上的节约 创建Core 通过管理画面http://ip:8983/solr的core Admin模块进行创建会失败提示在新创建的core目录\conf\下找不到solrconfig.xml和managed-schema.xml所以我们采用命令行的方式来创建Core。 PS D:\Apache\solr-9.3.0\solr-9.3.0\bin .\solr.cmd create -c core_test1
WARNING: Using _default configset with data driven schema functionality. NOT RECOMMENDED for production use.To turn off: bin\solr config -c core_test1 -p 8983 -action set-user-property -property update.autoCreateFields -value falseCreated new core core_test1
PS D:\Apache\solr-9.3.0\solr-9.3.0\binOverview: 概览一些核心/索引的统计信息Analysis: 分词查询如果想知道某个查询词会被分词成什么样可在这里操作类似es中的_analyze语句DataImport: 数据同步分为增量同步和全量同步Documents: 数据新增或更新、删除新增和更新用的都是/updateid存在则更新不存在则新增Files: 配置文件信息也提供了上传或下载文件到solr服务的功能可以通过此自定义查询组件Ping: 用于测试与solr服务器之前的连接是否正常Plugins/Stats插件管理页面可以查看、启用、禁用已经安装了的solr插件Query查询页面提供在线查询solr数据的页面Replication管理solr分片配置Schema管理solr索引结构Segments info查看solr索引的段信息了解索引大小、文档数量、字段等信息 配置solr字段
添加字段有2种方法可以通过web页面添加也可以直接修改schema文件添加。
属性说明取值默认值stored是否存储一个字段是否被存储取决于你是否想在solr的查询结果中得到它也就是说你是否想在查询结果中看到它它将会消耗cpu和io和磁盘空间等资源。true/falsetrueindexed字段是否创建索引索引的字段是在搜索的时候可以用它来查询或排序在lucene中被索引的字段将会建立倒排表。true/falsetrueuninvertible如果为 true则表示一个 indexed“true” docValues“false” 字段在查询时可以用“un-inverted”构建大内存数据结构以代替 DocValues。 出于历史原因默认为 true但强烈建议用户将其设置 false 以保持稳定性并据需要使用 docValues“true”。true/falsetruedocValues字段的值是否放在面向列的 DocValues 结构中true/falsefalsemultiValued设置为true表示此字段可以存储多个值意思是这个字段在一个文档中可以存储多个值的内容。true/falsefalserequired是否必须。如果为 true则 Solr 拒绝任何添加没有此字段的文档。true/falsefalsedefault字段的默认值经常用在字段是必须的但是有时候又无法提供的情况solr就会用默认值替代。如 field namerecordTime typedate indexedtrue storedtrue requiredtrue defaultNOW8HOUR/ 标示recordTime如果没有提供用当前的时间8个小时作为recordTime的时间加8小时是因为solr默认时区是0时区按照中国北京时间东8区算需要加上8个小时。
修改managed-schema 在core的conf下的managed-schema文件中增加字段配置
!-- 自定义的字段id已经存在不需要设置 --
field namedd typestring indexedtrue storedtrue/
field nameage typepint indexedtrue storedtrue /
field namedescription typetext_ik indexedtrue storedtrue /
field namecreateTime typepdate indexedtrue storedtrue /
field nameupdateTime typepdate indexedtrue storedtrue /添加后到“Core Admin”中刷新一下核即可
添加数据
现在core已经建好了但是里面还没有数据这里我们使用json添加以便快速演示支持 JSON,、CSV、XML等格式一般生产环境下都是从数据库访问。
准备json数据
{id: 11,age: 40,name: 李白,description: 创造了古代浪漫主义文学高峰、歌行体和七绝达到后人难及的高度},
{id: 12,age: 31,name: 杜甫,description: 唐代伟大的现实主义文学作家唐诗思想艺术的集大成者}找到该core的Documents菜单选择文档类型未JSON,把刚才准备的数据粘贴进来确认无误提交
查询
现在验证一下查询一下
安装中文分词器
下载地址
将ik-analyzer-8.5.0.jar放入solr目录下
存放于 *solr-9.1.0\server\solr-webapp\webapp\WEB-INF\lib* 目录下
编辑 D:\Apache\solr-9.3.0\solr-9.3.0\server\solr\core_test1\conf\managed-schema.xml 查询
到core的分词菜单中验证一下description字段是否按中文分词了可以看到一件按照中文的分词习惯进行了分词。
