内置分析器

官网：https://www.elastic.co/guide/en/elasticsearch/reference/7.10/analysis-analyzers.html

ES 内置了一些分析器。

默认情况下，一个索引的字段类型为text是，该字段在建立索引时和查询时的分析器时standard。

standard分析器由standard分词器，lowercase分词过滤器和stop分词过滤器（默认禁用）构成。

standard分析器对于中文只能按字拆分。

# 默认的标准分析器
POST _analyze
{"analyzer": "standard","text": "<h>This is a word"
}

# 自己组合的分析器，
# 字符过滤器过滤 html标签
# 分词器，根据空白符进行分词
# 分词过滤器，字母小写 并 过滤掉停用词
POST _analyze
{"char_filter": ["html_strip"], "tokenizer": "whitespace","filter": ["lowercase","stop"], "text": "<h>This is a word"
}

解释上述结果

原文： <h>This is a word
经过html字符过滤器 This is a word
经过空白符分词器 [This, is, a, word]
经过小写分词器 [this, is , a, word]
经过停用词分词器 [word]
所以最终结果 只有 word 一个单词

使用分析器

PUT /my-index-000001
{//指定默认分析器为whitespace"settings": {"analysis": {"analyzer": {"default":{"type":"whitespace"}}}},"mappings": {"properties": {// 没有指定分析器，搜索和索引都使用默认分析器whitespace"title1":{"type": "text"},// 仅指定索引分析器standard，搜索和索引都使用分析器standard"title2":{"type": "text","analyzer": "standard"},// 分别指定索引分析器和搜索分析器，索引分析器为standard，搜索分析器为standard"title3":{"type": "text","analyzer": "standard","search_analyzer": "standard"}}}
}

注意： 上述 title3 指定的搜索分析器和索引时的分析器是一致的，但是在大多数情况下是没有必要指定的，因为在默认情况下二者就是一致的。

如果指定的搜索分析器和索引时的分析器不一致，则ES在搜索时可能出现有不符合预期的匹配情况，因此该设置在使用时需要慎重选择。

自定义分析器

ES 也支持用户自定义分析器

当自带的分析器不满足需求时，需要用户自己定义分析器

PUT my-index-000002
{"settings": {"analysis": {"analyzer": {"my_custom_analyzer": { //指定 自定义类型分析器"type": "custom",//指定 自定义的字符过滤器"char_filter": ["my_filter"],// 指定 自定义的分词器"tokenizer": "my_tokenizer",// 指定 自定义的 分词过滤器"filter": ["lowercase","my_filter"]}},//自定义的分词器"tokenizer": {// 分词器：按照正则进行切分词"my_tokenizer": { "type": "pattern","pattern": "[ .,!?]"}},// 自定义的 字符过滤器"char_filter": {// 字符过滤器：将:) 转化为 _happy_，将:( 转化为 _sad_"my_filter": { "type": "mapping","mappings": [":) => _happy_",":( => _sad_"]}},// 自定义的 分词过滤器"filter": {// 分词过滤器，过滤英文的停用词"my_filter": { "type": "stop","stopwords": "_english_"}}}}
}POST my-index-000002/_analyze
{"analyzer": "my_custom_analyzer","text": "I'm a :) person, and you?"
}

解释上述结果：

原文： I’m a : ) person, and you?
经过my_filter字符过滤器 I’m a happy person, and you?
经过my_tokenizer分词器 [I’m, a, happy, person, and, you]
经过小写分词器 [i’m, a, happy, person, and, you]
经过停用词分词器 删除 停用词（a, and） [i’m, happy, person, you]
所以最终结果 [i’m, happy, person, you]

中文分析器（IK分析器）

前面提到过，ES内置的分词器都不支持中文的分词。所以我们需要自己安装中文分析器插件。
IK分析器时比较常用的中文分析器。其原理是基于词典的分词算法。

安装

下载地址： https://github.com/medcl/elasticsearch-analysis-ik/releases

下载与ES版本一致的IK插件包，这里以7.10.2 为例

# 进入es的插件目录
cd es/plugins
# 创建ik目录
mkdir ik
# 在ik 目录下解压 ik分析器
unzip elasticsearch-analysis-ik-7.10.2.zip
# 进入es/bin目录，重启es
./elasticsearch -d

使用

IK分词器内置了两个子分析器，即ik_smart 和 ik_max_word （分词器与其同名）

ik_smart：切分粒度比较粗
例如： “假日酒店”=> “假日酒店”

POST _analyze
{"analyzer": "ik_smart","text": "假日酒店"
}

ik_max_word： 切分粒度比较细，穷举了所有可能的组合
例如： “假日酒店”=> “假日酒店”，“假日”，“酒店”

POST _analyze
{"analyzer": "ik_max_word","text": "假日酒店"
}

添加词典

对于IK分词器不认识的词，其不能合理切分，所以有时需要我们手动添加一些词典。
例如：一些网络热词，ik分词器并不能很好的切分

POST _analyze
{"analyzer": "ik_smart","text": "及你太美"
}

上面的分词结果，显然不是我想要的。为了得到正确的分词结果。需要添加自定义词典

IK分词器提供了两种自定义词典方式

• 本地
• 远程

进入ik 分析器 config 目录
编辑 IKAnalyzer.cfg.xml 可以实现自定义词典

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties><comment>IK Analyzer 扩展配置</comment><!--用户可以在这里配置自己的扩展字典 --><entry key="ext_dict">custom-dict.dic</entry><!--用户可以在这里配置自己的扩展停止词字典--><entry key="ext_stopwords">custom-stop.dic</entry><!--用户可以在这里配置远程扩展字典 --><!-- <entry key="remote_ext_dict">words_location</entry> --><!--用户可以在这里配置远程扩展停止词字典--><!-- <entry key="remote_ext_stopwords">words_location</entry> -->
</properties>

在 custom-dict.dic 文件中 写入 所需的热词，

重启ES，重新分析，可以看到热词按照自定义设置进行切分了

POST _analyze
{"analyzer": "ik_smart","text": "及你太美"
}

如果还需要其他的热词更新方式，如Mysql，Redis 等，可以下载Ik分析器的源码自行开发

注意： 默认情况下，IK分词器不会热更新词库，也就是说，每次更新自定义词库，都需要重启ES。同样的，想要热更新，可以下载源码自行开发。