JavaEE鸿蒙应用开发HTML&JS+前端Python+大数据开发人工智能开发AI+设计软件测试新媒体+短视频直播运营产品经理集成电路应用开发(含嵌入式)Linux云计算+运维开发C/C++拍摄剪辑+短视频制作PMP项目管理认证电商运营Go语言与区块链大数据PHP工程师Android+物联网iOS.NET

【Java教程】Elasticsearch自定义分词器

来源:黑马程序员

浏览3707人

2022.08.25

1. 为什么我们需要自定义分词器

1.1 安装拼音分词器

要实现拼音分词检索,就必须对文档按照拼音分词。在GitHub上恰好有elasticsearch的拼音分词插件。

地址:https://github.com/medcl/elasticsearch-analysis-pinyin

把yinpin分词器拷贝到es的/plugins目录里面

重启es的容器:

docker restart elasticsearch

测试拼音分词器是否起作用:

结果

拼音分词器对我们每一个汉字都解析出对应的中文,但是这个并不是我们所需要的结果,我们需要的结果基于ik分词器的基础上的拼音,比如: 长隆大马戏可以分词出马戏, 那么就应该有对应的拼音——maxi。 如果我们需要实现该效果我们则需要自定义分词器

2. 自定义分词器

默认的拼音分词器会将每个汉字单独分为拼音,而我们希望的是每个词条形成一组拼音,需要对拼音分词器做个性化定制,形成自定义分词器。

elasticsearch中分词器(analyzer)的组成包含三部分:

1、character filters:在tokenizer之前对文本进行处理。例如删除字符、替换字符

2、tokenizer:将文本按照一定的规则切割成词条(term)。例如keyword,就是不分词;还有ik_smart

3、tokenizer filter:将tokenizer输出的词条做进一步处理。例如大小写转换、同义词处理、拼音处理等

文档分词时会依次由这三部分来处理文档:

声明自定义分词器的语法如下: 自定义分词器是属于某一个索引库的,并不是全局的, 代码里面创建的是my_analyzer自定义分词器,该分词器会先经过ik_max_word,然后经过过滤器,过滤器是拼音分词器,拼音分词器设置了一系列的参数:参数说明:

· keep_full_pinyin 启用此选项时,例如: 刘德华> [ liu , de , hua ],默认值:true

· keep_joined_full_pinyin 启用此选项时,例如: 刘德华> [ liudehua ],默认值:false

· keep_original 启用此选项时,也将保留原始输入,默认值:false

· limit_first_letter_length 设置 first_letter 结果的最大长度,默认值:16

· remove_duplicated_term 启用此选项时,将删除重复的术语以保存索引,例如: de的> de ,默认:false,注意:位置相关的查询可能会受到影响

· none_chinese_pinyin_tokenize 如果是拼音,则将非中文字母分成单独的拼音词,默认:

· true,例如: liudehuaalibaba13zhuanghan -> liu , de , hua , a , li , ba , ba , 13 , zhuang ,han , 注意: keep_none_chinese 并且keep_none_chinese_together 应该首先启用

结果