目录引言一、Elasticsearch概念理解1.1、 Elasticsearch是什么1.2、kibanaElasticsearch 的图形化交互搭档1.3、倒排索引的概念理解1.3.1、先看正向索引1.3.2、倒排索引原理1.4、Elasticsearch中的基础概念1.4.1、文档和字段1.4.2、索引和映射1.4.3、IK分词器二、Elasticsearch 系列安装2.1、安装Elasticsearch2.2、安装Kibana2.3、安装IK分词器2.3.1、使用IK分词器2.3.2、拓展词典总结引言Elasticsearch 是倒排索引的代表也是NOSQL高性能查询的主流方案。本文先来参考一些文章和资料整理对ES的入门简单理解和安装后续进入案例实践小马争取在几篇文章内把 Elasticsearch 从入门上手的精华分析透。一、Elasticsearch概念理解1.1、 Elasticsearch是什么Elasticsearch是由elastic公司开发的一套搜索引擎技术它是elastic技术栈中的一部分。完整的技术栈包括Elasticsearch用于数据存储、计算和搜索分析Logstash/Beats用于数据收集Kibana用于数据可视化整套技术栈被称为ELK经常用来做日志收集、系统监控和状态分析等等Elasticsearch 是整套技术的核心。1.2、kibanaElasticsearch 的图形化交互搭档Elasticsearch对外提供的是Restful风格的API任何操作都可以通过发送http请求来完成。http请求的方式、路径、还有请求参数的格式都有严格的规范。这些规范我们可以不用记住借助于Kibana这个服务我们可以和Elasticsearch 可视化交互。Kibana是elastic公司提供的用于操作Elasticsearch的可视化控制台。它的功能非常强大包括对Elasticsearch数据的搜索、展示对Elasticsearch数据的统计、聚合并形成图形化报表、图形对Elasticsearch的集群状态监控提供了一个开发控制台DevTools在其中对Elasticsearch的Restful的API接口提供了语法提示1.3、倒排索引的概念理解elasticsearch之所以有如此高性能的搜索表现正是得益于底层的倒排索引技术。倒排索引的概念是基于MySQL这样的正向索引而言的。1.3.1、先看正向索引例如有一张名为tb_goods的表其中的id字段已经创建了索引由于索引底层采用了B树结构因此我们根据id搜索的速度会非常快。但是其他字段例如title只在叶子节点上存在。因此要根据title搜索的时候只能遍历树中的每一个叶子节点判断title数据是否符合要求。比如用户的SQL语句为select*fromtb_goodswheretitlelike%手机%;那搜索的大概流程如图这是一个典型的 全表扫描过程。如果根据id精确匹配时可以走索引查询效率较高。而当搜索条件为模糊匹配时由于索引无法生效导致从索引查询退化为全表扫描效率很差。扫描行数流程参考1检查到搜索条件为like ‘%手机%’需要找到title中包含手机的数据2逐条遍历每行数据每个叶子节点比如第1次拿到id为1的数据3判断数据中的title字段值是否符合条件4如果符合则放入结果集不符合则丢弃5回到步骤1因此正向索引适合于根据索引字段的精确搜索不适合基于部分词条的模糊匹配。而倒排索引恰好解决的就是根据部分词条模糊匹配的问题。1.3.2、倒排索引原理倒排索引中有两个非常重要的概念文档Document用来搜索的数据其中的每一条数据就是一个文档。例如一个网页、一个商品信息词条Term对文档数据或用户搜索数据利用某种算法分词得到的具备含义的词语就是词条。例如我是中国人就可以分为我、是、中国人、中国、国人这样的几个词条创建倒排索引是对正向索引的一种特殊处理和应用流程如下将每一个文档的数据利用分词算法根据语义拆分得到一个个词条创建表每行数据包括词条、词条所在文档id、位置等信息因为词条唯一性可以给词条创建正向索引此时形成的这张以词条为索引的表就是倒排索引表两者对比如下倒排索引的搜索流程如下以搜索华为手机为例如图流程描述1用户输入条件华为手机进行搜索。2对用户输入条件分词得到词条华为、手机。3拿着词条在倒排索引中查找由于词条有索引查询效率很高即可得到包含词条的文档id1、2、3。4拿着文档id到正向索引中查找具体文档即可由于id也有索引查询效率也很高。虽然要先查询倒排索引再查询倒排索引但是无论是词条、还是文档id都建立了索引查询速度非常快无需全表扫描。正向索引是最传统的根据id索引的方式。但根据词条查询时全表扫描必须先逐条获取每个文档然后判断文档中是否包含所需要的词条是根据文档找词条的过程。而倒排索引则相反是先找到用户要搜索的词条根据词条得到保护词条的文档的id然后根据id获取文档。是根据词条找文档的过程。方式优点缺点正向索引可以给多个字段创建索引根据索引字段搜索、排序速度非常快根据非索引字段或者索引字段中的部分词条查找时只能全表扫描倒排索引根据词条搜索、模糊搜索时速度非常快只能给词条创建索引而不是字段无法根据字段做排序1.4、Elasticsearch中的基础概念1.4.1、文档和字段Elasticsearch是面向**文档Document**存储的可以是数据库中的一条商品数据一个订单信息。文档数据会被序列化为json格式后存储在Elasticsearch中也就是说它数据存储的是个JSON文档。因此原本数据库中的一行数据就是ES中的一个JSON 文档而数据库中每行数据都包含很多列这些列就转换为JSON文档中的字段Field。1.4.2、索引和映射随着业务发展需要在ES中存储的文档也会越来越多比如有商品的文档、用户的文档、订单文档等等所有文档都散乱存放显然非常混乱也不方便管理。因此我们要将类型相同的文档集中在一起管理称为索引Index。例如//商品索引{id:1,title:小米手机,price:3499}{id:2,title:华为手机,price:4999}{id:3,title:三星手机,price:3999}//用户索引{id:101,name:张三,age:21}{id:102,name:李四,age:24}{id:103,name:麻子,age:18}//订单索引{id:10,userId:101,goodsId:1,totalFee:294}{id:11,userId:102,goodsId:2,totalFee:328}因此我们可以把索引当做是数据库中的表。数据库的表会有约束信息用来定义表的结构、字段的名称、类型等信息。因此索引库中就有映射mapping是索引中文档的字段约束信息类似表的结构约束。可见ES 文档ID就是MYSQL 行ID。映射mapping则代表ES的表结构。Mysql擅长事务类型操作可以确保数据的安全和一致性Elasticsearch擅长海量数据的搜索、分析、计算因此在企业中往往是两者结合使用对安全性要求较高的写操作使用mysql实现对查询性能要求较高的搜索需求使用Elasticsearch实现两者再基于某种方式实现数据的同步保证一致性1.4.3、IK分词器权威资料明确指出“ES官方默认的分词插件对中文分词效果不理想”‌“standard分词器对中文只是按字拆分不符合中文检索需求”‌。因此‌若涉及中文内容强烈建议安装 IK 分词器或其他中文分词插件‌而非依赖 ES 默认分词器。Elasticsearch的关键就是倒排索引而倒排索引依赖于对文档内容的分词而分词则需要高效、精准的分词算法IK分词器就是这样一个中文分词算法。分词器的作用是什么创建倒排索引时对文档分词用户搜索时对输入的内容分词IK分词器有几种模式2种。ik_smart智能切分粗粒度ik_max_word最细切分细粒度IK分词器如何拓展词条如何停用词条利用config目录的IkAnalyzer.cfg.xml文件添加拓展词典和停用词典在词典中添加拓展词条或者停用词条二、Elasticsearch 系列安装2.1、安装Elasticsearch通过下面的Docker命令即可安装单机版本的Elasticsearch dockerrun-d\--namees\-eES_JAVA_OPTS-Xms512m -Xmx512m\-ediscovery.typesingle-node\-ves-data:/usr/share/elasticsearch/data\-ves-plugins:/usr/share/elasticsearch/plugins\--privileged\--networkhm-net\-p9200:9200\-p9300:9300\elasticsearch:7.12.1注意这里我们采用的是elasticsearch的7.12.1版本由于8以上版本的JavaAPI变化很大在企业中应用并不广泛企业中应用较多的还是8以下的版本。安装完成后访问9200端口即可看到响应的Elasticsearch服务的基本信息2.2、安装Kibana通过下面的Docker命令即可部署Kibanadockerrun-d\--namekibana\-eELASTICSEARCH_HOSTShttp://es:9200\--networkhm-net\-p5601:5601\kibana:7.12.1这里需要注意Kibana就是ES的可视化操作面板两者网络通信要保证能互通docker的话要保证在同一个网络。安装完成后直接访问5601端口即可看到控制台页面选择Explore on my own之后进入主页面然后选中Dev tools进入开发工具页面2.3、安装IK分词器中文场景的话还不得不装它。方案一在线安装运行一个命令即可dockerexec-ites ./bin/elasticsearch-plugininstallhttps://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.12.1/elasticsearch-analysis-ik-7.12.1.zip然后重启ES容器dockerrestart es方案二离线安装如果网速较差也可以选择离线安装。首先查看之前安装的Elasticsearch容器的plugins数据卷目录dockervolume inspect es-plugins结果如下[{CreatedAt:2025-11-06T10:06:3408:00,Driver:local,Labels:null,Mountpoint:/var/lib/docker/volumes/es-plugins/_data,Name:es-plugins,Options:null,Scope:local}]可以看到Elasticsearch的插件挂载到了/var/lib/docker/volumes/es-plugins/_data这个目录。我们需要把IK分词器上传至这个目录。找到已经下载好的对应ES版本的ik分词器插件对其解压放入目录。然后重启ES容器dockerrestart es2.3.1、使用IK分词器IK分词器包含两种模式ik_smart智能语义切分ik_max_word最细粒度切分我们在Kibana的DevTools上来测试分词器首先测试Elasticsearch官方提供的标准分词器POST /_analyze{analyzer:standard,text:小马过河R正在努力}结果参考如下{tokens:[{token:小,start_offset:0,end_offset:1,type:IDEOGRAPHIC,position:0},{token:马,start_offset:1,end_offset:2,type:IDEOGRAPHIC,position:1},{token:过,start_offset:2,end_offset:3,type:IDEOGRAPHIC,position:2},{token:河,start_offset:3,end_offset:4,type:IDEOGRAPHIC,position:3},{token:R,start_offset:4,end_offset:5,type:ALPHANUM,position:4},{token:正,start_offset:5,end_offset:6,type:IDEOGRAPHIC,position:5},{token:在,start_offset:6,end_offset:7,type:IDEOGRAPHIC,position:6},{token:努,start_offset:7,end_offset:11,type:IDEOGRAPHIC,position:7},{token:力,start_offset:11,end_offset:12,type:IDEOGRAPHIC,position:8}]}可以看到标准分词器智能1字1词条无法正确对中文做分词。我们再测试IK分词器POST /_analyze{analyzer:ik_smart,text:小马过河R正在努力}执行结果参考如下{tokens:[{token:小马过河,start_offset:0,end_offset:2,type:CN_WORD,position:0},{token:R,start_offset:2,end_offset:5,type:ENGLISH,position:1},{token:正在,start_offset:5,end_offset:7,type:CN_WORD,position:2},{token:努力,start_offset:7,end_offset:11,type:CN_WORD,position:3},{token:学习,start_offset:11,end_offset:14,type:CN_WORD,position:4}]}2.3.2、拓展词典随着互联网的发展“造词运动”也越发的频繁。出现了很多新的词语在原有的词汇列表中并不存在。比如“泰裤辣”“贝可林司” 等。IK分词器无法对这些词汇分词测试一下POST /_analyze{analyzer:ik_max_word,text:贝可林司开设大学,真的泰裤辣}结果参考{tokens:[{token:贝,start_offset:0,end_offset:1,type:CN_CHAR,position:0},{token:可,start_offset:1,end_offset:2,type:CN_CHAR,position:1},{token:林,start_offset:2,end_offset:3,type:CN_CHAR,position:2},{token:司,start_offset:3,end_offset:4,type:CN_CHAR,position:3},{token:开设,start_offset:4,end_offset:6,type:CN_WORD,position:4},{token:大学,start_offset:6,end_offset:8,type:CN_WORD,position:5},{token:真的,start_offset:9,end_offset:11,type:CN_WORD,position:6},{token:泰,start_offset:11,end_offset:12,type:CN_CHAR,position:7},{token:裤,start_offset:12,end_offset:13,type:CN_CHAR,position:8},{token:辣,start_offset:13,end_offset:14,type:CN_CHAR,position:9}]}可以看到贝可林司和泰裤辣都无法正确分词。所以要想正确分词IK分词器的词库也需要不断的更新IK分词器提供了扩展词汇的功能。1打开IK分词器config目录?xmlversion1.0encodingUTF-8?!DOCTYPE properties SYSTEMhttp://java.sun.com/dtd/properties.dtdpropertiescommentIK Analyzer 扩展配置/comment!--用户可以在这里配置自己的扩展字典 *** 添加扩展词典--entrykeyext_dictext.dic/entry/properties注意如果采用在线安装的默认是没有config目录的需要把自己准备的ik下的config上传至对应目录。2在IKAnalyzer.cfg.xml配置文件内容添加?xmlversion1.0encodingUTF-8?!DOCTYPE properties SYSTEMhttp://java.sun.com/dtd/properties.dtdpropertiescommentIK Analyzer 扩展配置/comment!--用户可以在这里配置自己的扩展字典 *** 添加扩展词典--entrykeyext_dictext.dic/entry/properties3在IK分词器的config目录新建一个 ext.dic可以参考config目录下复制一个配置文件进行修改。贝可林司 泰裤辣4重启Elasticsearchdockerrestart es# 查看 日志dockerlogs-felasticsearch再次测试可以发现贝可林司和泰裤辣都正确分词了{tokens:[{token:贝可林司,start_offset:0,end_offset:4,type:CN_WORD,position:0},{token:开设,start_offset:4,end_offset:6,type:CN_WORD,position:1},{token:大学,start_offset:6,end_offset:8,type:CN_WORD,position:2},{token:真的,start_offset:9,end_offset:11,type:CN_WORD,position:3},{token:泰裤辣,start_offset:11,end_offset:14,type:CN_WORD,position:4}]}总结本文就先到这吧Elasticsearch概念理解与安装已经基本准备结束下一篇我们计划来分析一下 索引库表、文档行等的操作以及为什么改字段通常需要重新建索引。预告根据上文原理必须重建索引的核心场景参考如下‌- 分片数量调整‌主分片数在索引创建时指定后续无法修改。若数据量增长导致原分片过大如超过50GB或需水平扩展必须重建索引以调整分片数 ‌。-‌字段类型或映射Mapping变更‌一旦字段类型如 text 改为 keyword、string 改为 date或分词器Analyzer定义完成‌无法直接修改已有字段的映射‌这点和MYSQL的表字段更换类型有所大不同。任何此类变更都需重建索引 ‌。-‌分词器或搜索规则升级‌若使用了新的词库如 IK 分词器更新词典历史文档需按新规则重新分析否则搜索结果不一致必须重建索引。-‌新增字段且要求历史数据生效‌若关闭了动态映射dynamic: false/strict新增字段虽可通过 PUT mapping 添加但‌历史文档不会包含该字段‌。若需对历史数据进行聚合、过滤等操作必须 Reindex 并填充默认值。