行业电子商务网站有哪些,网上北京网站制作公司,移动端应用,赣州的免费网站建设目录 ElasticSearch
了解ElasticSearch
ELK技术栈
编辑 ElasticSearch与lucene的关系
总结 倒排索引
正向索引
倒排索引 正向和倒排 elasticSearch特定的一些概念
文档和字段
索引和映射
mysql与elasticsearch对比
安装elasticSeacher并部署单例es 创建网络
加…目录 ElasticSearch
了解ElasticSearch
ELK技术栈
编辑 ElasticSearch与lucene的关系
总结 倒排索引
正向索引
倒排索引 正向和倒排 elasticSearch特定的一些概念
文档和字段
索引和映射
mysql与elasticsearch对比
安装elasticSeacher并部署单例es 创建网络
加载es镜像和kibana镜像
运行es镜像
部署kibana
查看kibana
安装IK分词器
下载压缩包
查询到es-plugins数据卷存在的实际位置 cd到这个实际位置并把ik文件夹拉到这个目录中
重启es容器
测试
扩展IK分词器
进入ik的config目录
在IKAnalyzer.cfg.xml配置文件内容添加ext.dic 这里没有配置ext.dic的文件路径说明和IKAnalyzer.cfg.xml在同一个目录下
然后重启es
测试可以发现我勒个豆已经成为一个最小单元的词条
编辑 停用词词典 1IKAnalyzer.cfg.xml配置文件内容添加 2打开stopword.dic(config中已经存在不用重新创建)
3重启es
4测试
编辑 总结分词器的作用
IK分词器有几种模式 ElasticSearch
了解ElasticSearch
elasticsearch是一款非常强大的开源搜索引擎具备非常多强大功能可以帮助我们从海量数据中快速找到需要的内容
ELK技术栈
elasticsearch结合kibana、Logstash、Beats也就是elastic stackELK。被广泛应用在日志数据分析、实时监控等领域
而elasticsearch是elastic stack的核心负责存储、搜索、分析数据。 ElasticSearch与lucene的关系
elasticsearch底层是基于lucene来实现的。
Lucene是一个Java语言的搜索引擎类库是Apache公司的顶级项目由DougCutting于1999年研发。
总结
什么是elasticsearch
一个开源的分布式搜索引擎可以用来实现搜索、日志统计、分析、系统监控等功能
什么是elastic stackELK
是以elasticsearch为核心的技术栈包括beats、Logstash、kibana、elasticsearch
什么是Lucene
是Apache的开源搜索引擎类库提供了搜索引擎的核心API 倒排索引
倒排索引的概念是基于MySQL这样的正向索引而言的。
正向索引
什么是正向索引呢 如果根据id值直接查询那么直接走主键索引查询速度比较快
如果是根据title进行模糊查询
用户进行搜索数据时条件为%手机%那么就一行一行的获取数据然后再判断title字段值是否符合条件符合条件就放入结果集不符合条件就丢弃继续下一行获取数据进行比对 这就是所谓的逐行扫描也就是全表扫描随着数据量的增多其查询效率会越来越低
倒排索引
倒排索引中有两个非常重要的概念
文档Document用来搜索的数据其中的每一条数据就是一个文档。例如一个网页、一个商品信息。也就是数据库中的一行数据词条Term对文档数据或用户搜索数据利用某种算法分词得到的具备含义的词语就是词条。例如我是中国人就可以分为我、是、中国人、中国、国人这样的几个词条。词条就是把文档数据根据某种规则进行拆分成几个词
创建倒排索引是对正向索引的一种特殊处理流程如下
将每一个文档的数据利用算法分词得到一个个词条创建表每行数据包括词条、词条所在文档id、位置等信息因为词条唯一性可以给词条创建索引例如hash表结构索引 倒排索引的搜索流程如下以搜索华为手机为例
当用户输入华为手机时进行词条分割得到华为手机两个词条然后再倒排索引的表中获得对应的文档id123然后拿着文档id去数据库表中进行查找具体的信息因为根据的是主键Id,走索引查询速率比较快 虽然要先查询倒排索引再查询正向索引但是无论是词条、还是文档id都建立了索引可以建立联合唯一索引查询速度非常快无需全表扫描。 正向和倒排
那么为什么一个叫做正向索引一个叫做倒排索引呢 正向索引是最传统的根据id索引的方式。但根据词条查询时必须先逐条获取每个文档然后判断文档中是否包含所需要的词条是根据文档找词条的过程。 而倒排索引则相反是先找到用户要搜索的词条根据词条再倒排索引表中先得到词条的文档的id然后再根据获得的id去数据表中获取对应的文档。是根据词条找文档的过程。
是不是恰好反过来了
那么两者方式的优缺点是什么呢
正向索引
优点 可以给多个字段创建索引根据索引字段搜索、排序速度非常快缺点 根据非索引字段或者索引字段中的部分词条查找时只能全表扫描。
倒排索引
优点 根据词条搜索、模糊搜索时速度非常快缺点 只能给词条创建索引而不是字段无法根据字段做排序 elasticSearch特定的一些概念
文档和字段
elasticsearch是面向**文档Document**存储的可以是数据库中的一条商品数据一个订单信息。文档数据会被序列化为json格式后存储在elasticsearch中 可以看见数据库的每一行数据都被序列化成了json数据每一个json数据对应的key就是字段名
每一个json数据就是叫做文档(document)json数据里面的key值就是字段(Field)
索引和映射
索引Index就是相同类型的文档的集合。一个索引就是相当于数据库中的一张数据表
也就是说一个索引包含了很多相同类型的文档
例如
所有用户文档就可以组织在一起称为用户的索引所有商品的文档可以组织在一起称为商品的索引所有订单的文档可以组织在一起称为订单的索引 因此我们可以把索引当做是数据库中的表。
数据库的表会有约束信息用来定义表的结构、字段的名称、类型等信息。因此索引库中就有映射mapping是索引中文档的字段约束信息类似表的结构约束。
mysql与elasticsearch对比
我们统一的把mysql与elasticsearch的概念做一下对比
MySQLElasticsearch说明TableIndex索引(index)就是文档的集合类似数据库的表(table)RowDocument文档Document就是一条条的数据类似数据库中的行Row文档都是JSON格式ColumnField字段Field就是JSON文档中的字段类似数据库中的列ColumnSchemaMappingMapping映射是索引中文档的约束例如字段类型约束。类似数据库的表结构SchemaSQLDSLDSL是elasticsearch提供的JSON风格的请求语句用来操作elasticsearch实现CRUD Mysql擅长事务类型操作可以确保数据的安全和一致性 Elasticsearch擅长海量数据的搜索、分析、计算
因此在企业中往往是两者结合使用
对安全性要求较高的写操作使用mysql实现对查询性能要求较高的搜索需求使用elasticsearch实现两者再基于某种方式实现数据的同步保证一致性 安装elasticSeacher并部署单例es 创建网络
因为我们还需要部署kibana容器因此需要让es和kibana容器互联。这里先创建一个网络
创建网络的原因是在同一网络中的容器即kibana可以直接通过容器的名字(es)来获取 es的ip地址
docker network create es-net 创建成功
加载es镜像和kibana镜像 docker pull ... 加载压缩包 docker load -i es.tar 运行es镜像
docker run -d \--name es \-e ES_JAVA_OPTS-Xms512m -Xmx512m \-e discovery.typesingle-node \-v es-data:/usr/share/elasticsearch/data \-v es-plugins:/usr/share/elasticsearch/plugins \--privileged \--network es-net \-p 9200:9200 \-p 9300:9300 \
elasticsearch:7.12.1
命令解释
-e cluster.namees-docker-cluster设置集群名称-e http.host0.0.0.0监听的地址可以外网访问-e ES_JAVA_OPTS-Xms512m -Xmx512m内存大小-e discovery.typesingle-node非集群模式-v es-data:/usr/share/elasticsearch/data挂载逻辑卷绑定es的数据目录如果没有这个数据卷可以自动创建-v es-logs:/usr/share/elasticsearch/logs挂载逻辑卷绑定es的日志目录-v es-plugins:/usr/share/elasticsearch/plugins挂载逻辑卷绑定es的插件目录--privileged授予逻辑卷访问权--network es-net 加入一个名为es-net的网络中-p 9200:9200端口映射配置http访问的入口-p 9300:9300tcp协议端口用于集群模式下节点与节点之间的心跳检查的
在浏览器中输入http://192.168.230.100:9200 即可看到elasticsearch的响应结果 部署kibana
kibana可以给我们提供一个elasticsearch的可视化界面便于我们学习。
docker run -d \
--name kibana \
-e ELASTICSEARCH_HOSTShttp://es:9200 \
--networkes-net \
-p 5601:5601 \
kibana:7.12.1
--network es-net 加入一个名为es-net的网络中与elasticsearch在同一个网络中-e ELASTICSEARCH_HOSTShttp://es:9200设置elasticsearch的地址因为kibana已经与elasticsearch在一个网络因此可以用容器名直接访问elasticsearch-p 5601:5601端口映射配置
kibana启动一般比较慢需要多等待一会可以通过命令
docker logs -f kibana查看运行日志当查看到下面的日志说明成功 查看kibana
192.168.230.100:5601,里面的dev tools 这个界面中可以编写DSL来操作elasticsearch。并且对DSL语句有自动补全功能。
DSL就是elasticsearch提供的特殊语法基本格式如下
[请求方式] /[请求路径]
{[请求参数key1]: [请求参数value1][请求参数key2]: [请求参数value2]
}
例如
GET /_analyze
{analyzer: standard,text: 华为手机
}
运行结果后默认是把文档拆成一个一个字的词条 安装IK分词器 因为默认的行为是把文档拆成一个一个字的词条不符合我们的习惯所以需要安装国内的开源的IK分词器
下载压缩包
https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.12.1/elasticsearch-analysis-ik-7.12.1.zip
解压这个压缩包得到ik文件夹
查询到es-plugins数据卷存在的实际位置 cd到这个实际位置并把ik文件夹拉到这个目录中 重启es容器
docker restart es
测试
IK分词器包含两种模式 ik_smart最少切分 ik_max_word最细切分
使用最少切分的模式可以把华为手机分割出来但是对于网络热词无法切分 使用ik_max_word模式进行分词可以发现分出来的词更加细腻,把程序员还分成了程序和员 扩展IK分词器
随着互联网的发展“造词运动”也越发的频繁。出现了很多新的词语在原有的词汇列表中并不存在。比如“奥力给”“我了个豆”等。
所以我们的词汇也需要不断的更新IK分词器提供了扩展词汇的功能。我们可以自己进行配置
进入ik的config目录 cd ik/config 在IKAnalyzer.cfg.xml配置文件内容添加ext.dic
?xml version1.0 encodingUTF-8?
!DOCTYPE properties SYSTEM http://java.sun.com/dtd/properties.dtd
propertiescommentIK Analyzer 扩展配置/comment!--用户可以在这里配置自己的扩展字典 --entry keyext_dictext.dic/entry!--用户可以在这里配置自己的扩展停止词字典--entry keyext_stopwords/entry!--用户可以在这里配置远程扩展字典 --!-- entry keyremote_ext_dictwords_location/entry --!--用户可以在这里配置远程扩展停止词字典--!-- entry keyremote_ext_stopwordswords_location/entry --
/properties这里没有配置ext.dic的文件路径说明和IKAnalyzer.cfg.xml在同一个目录下 vim ext.dic 在这个文件中添加词汇 然后重启es docker restart es 测试可以发现我勒个豆已经成为一个最小单元的词条 停用词词典
在互联网项目中在网络间传输的速度很快所以很多语言是不允许在网络上传递的如关于宗教、政治等敏感词语那么我们在搜索时也应该忽略当前词汇。
IK分词器也提供了强大的停用词功能让我们在索引时就直接忽略当前的停用词汇表中的内容。 1IKAnalyzer.cfg.xml配置文件内容添加
?xml version1.0 encodingUTF-8?
!DOCTYPE properties SYSTEM http://java.sun.com/dtd/properties.dtd
propertiescommentIK Analyzer 扩展配置/comment!--用户可以在这里配置自己的扩展字典--entry keyext_dictext.dic/entry!--用户可以在这里配置自己的扩展停止词字典 *** 添加停用词词典--entry keyext_stopwordsstopword.dic/entry
/properties 2打开stopword.dic(config中已经存在不用重新创建)
添加屏蔽词汇 3重启es docker restart es 4测试
直接把不显示屏蔽词 总结 分词器的作用
创建倒排索引时对文档进行分词用户搜索时对输入的内容进行分词
IK分词器有几种模式
ik_smart:智能切片粗粒度ik_max_word:最细分片细粒度
