当前位置：首页 > news >正文

es实现自动补全

news 2024/10/27 1:44:42

自动补全

拼音分词器

安装拼音分词器

第一步：下载zip包，并解压缩

第二步：去docker找到es-plugins数据卷挂载的位置，并进入这个目录

第三步：把拼音分词器的安装包拖到这个目录下

第四步：重启es

第五步：测试拼音分词器

自定义分词器

如何自定义分词器呢

编辑声明自定义分词器的语法如下：

测试自定义的分词器

总结：

自动补全查询

实现酒店搜索框自动补全

修改酒店索引库的映射结构

修改HotelDoc实体类

批量插入数据到es的hotel库中

自动补全查询的JavaAPI

实现搜索框自动补全

controller

service

结果

分析

自动补全

当用户在搜索框输入字符时，我们应该提示出与该字符有关的搜索项，如图：

这种根据用户输入的字母，提示完整词条的功能，就是自动补全了。

因为需要根据拼音字母来推断，因此要用到拼音分词功能。

拼音分词器

要实现根据字母做补全，就必须对文档按照拼音分词。在GitHub上恰好有elasticsearch的拼音分词插件。地址：GitHub - infinilabs/analysis-pinyin: 🛵 This Pinyin Analysis plugin is used to do conversion between Chinese characters and Pinyin.

安装拼音分词器

第一步：下载zip包，并解压缩

第二步：去docker找到es-plugins数据卷挂载的位置，并进入这个目录

第三步：把拼音分词器的安装包拖到这个目录下

py就是拼音分词器的安装包

第四步：重启es

docker restart es

第五步：测试拼音分词器

对text文本使用拼音分词器的默认分词器->"pinyin"

可以发现对text文本进行了拼音分词，但是并不够完整，如:"shanghai","shanghaiwaitan"等，所以我们需要自定义分词器

自定义分词器

我们发现默认的拼音分词器只是把每个汉字的拼音给分词出来，而我们希望的是每个词条形成一组拼音，所以我们需要对拼音分词器做个性化定制，形成自定义分词器。

如何自定义分词器呢

elasticsearch中分词器（analyzer）的组成包含三部分：

character filters：在tokenizer之前对文本进行处理。例如删除字符、替换字符
tokenizer：将文本按照一定的规则切割成词条（term）。如果文本是keyword，就进行不分词；
tokenizer filter：将tokenizer输出的词条做进一步处理（对分词分出来的词条后进行下一步处理）。例如大小写转换、同义词处理、拼音处理等

文档分词时会依次由这三部分来处理文档：

声明自定义分词器的语法如下：

这里定义mapping结构时，对字段text的分词类型使用的是自定义的分词器，先对text文本进行分词处理后，再对这些分出来的词进行拼音处理，然后把分出的词条和词条的拼音都加入到倒排索引库中。

我们还设置了search_analyzer属性为ik_smart,如果不设置search_analyzer的值，默认和analyzer的属性值一样，都是自定义的分词器。

那我们为什么要额外设置呢？
因为在进行搜索时，输入 "狮子",使用自定义的分词器进行搜索时，也会把狮子变成shizi去倒排索引库中搜索，就会搜索出相同读音的其他词，比如"虱子"，这显然是不对的。

所以进行搜索时，指定使用ik_smart进行搜索，不会把中文变成拼音去搜索，输入拼音也可以到倒排索引库中搜索，因为构建索引时，把词条的拼音也加入到了倒排索引库。

PUT /test
{"settings": {"analysis": {"analyzer": { // 自定义分词器"my_analyzer": {  // 分词器名称"tokenizer": "ik_max_word", //使用最细分词对文本内容进行分词，创建倒排索引"filter": "py" //过滤器使用自定义的}},"filter": { // 自定义tokenizer filter"py": { // 过滤器名称"type": "pinyin", //类型是拼音分词器"keep_full_pinyin": false, "keep_joined_full_pinyin": true,"keep_original": true,"limit_first_letter_length": 16,"remove_duplicated_term": true,"none_chinese_pinyin_tokenize": false}}}},"mappings": {"properties": {"name": {k"type": "text","analyzer": "my_analyzer", # 保存文档内容时，使用自定义分词器-》写操作"search_analyzer": "ik_smart" # 搜索时使用ik_smart ---》读操作}}}
}

参数详细说明：
keep_first_letter:这个参数会将词的第一个字母全部拼起来.例如:刘德华->ldh.默认为:true
keep_separate_first_letter:这个会将第一个字母一个个分开.例如:刘德华->l,d,h.默认为:flase.如果开启,可能导致查询结果太过于模糊,准确率太低.
limit_first_letter_length:设置最大keep_first_letter结果的长度,默认为:16
keep_full_pinyin:如果打开,它将保存词的全拼,并按字分开保存.例如:刘德华> [liu,de,hua],默认为:true
keep_joined_full_pinyin:如果打开将保存词的全拼.例如:刘德华> [liudehua],默认为:false
keep_none_chinese:将非中文字母或数字保留在结果中.默认为:true
keep_none_chinese_together:保证非中文在一起.默认为: true, 例如: DJ音乐家 -> DJ,yin,yue,jia, 如果设置为:false, 例如: DJ音乐家 -> D,J,yin,yue,jia, 注意: keep_none_chinese应该先开启.
keep_none_chinese_in_first_letter:将非中文字母保留在首字母中.例如: 刘德华AT2016->ldhat2016, 默认为:true
keep_none_chinese_in_joined_full_pinyin:将非中文字母保留为完整拼音. 例如: 刘德华2016->liudehua2016, 默认为: false
none_chinese_pinyin_tokenize:如果他们是拼音,切分非中文成单独的拼音项. 默认为:true,例如: liudehuaalibaba13zhuanghan -> liu,de,hua,a,li,ba,ba,13,zhuang,han, 注意: keep_none_chinese和keep_none_chinese_together需要先开启.
keep_original:是否保持原词.默认为:false
lowercase:小写非中文字母.默认为:true
trim_whitespace:去掉空格.默认为:true
remove_duplicated_term:保存索引时删除重复的词语.例如: de的>de, 默认为: false, 注意:开启可能会影响位置相关的查询.
ignore_pinyin_offset:在6.0之后,严格限制偏移量,不允许使用重叠的标记.使用此参数时,忽略偏移量将允许使用重叠的标记.请注意,所有与位置相关的查询或突出显示都将变为错误,您应使用多个字段并为不同的字段指定不同的设置查询目的.如果需要偏移量,请将其设置为false。默认值:true

测试自定义的分词器

可以发现结果是分出来的词条和词条的拼音

总结：

如何使用拼音分词器？

①下载pinyin分词器
②解压并放到elasticsearch的plugin目录
③重启即可

如何自定义分词器？

①创建索引库时，在settings中配置，可以包含三部分
②character filter
③tokenizer
④filter

拼音分词器注意事项？

为了避免搜索到同音字，搜索时不要使用拼音分词器

自动补全查询

elasticsearch提供了Completion Suggester查询来实现自动补全功能。这个查询会匹配以用户输入内容开头的词条并返回。为了提高补全查询的效率，对于文档中字段的类型有一些约束：

参与补全查询的字段必须是completion类型。
字段的内容一般是用来补全的多个词条形成的数组，这些词条也叫做关键词，作用就是补全。

比如，一个这样的索引库：

PUT test
{"mappings": {"properties": {"title":{"type": "completion"}}}
}

然后插入下面的数据：

给三个文档插入它们对应的关键词组，不写文档id，es默认会自动生成一个文档id

POST test/_doc
{"title": ["Sony", "WH-1000XM3"]
}
POST test/_doc
{"title": ["SK-II", "PITERA"]
}
POST test/_doc
{"title": ["Nintendo", "switch"]
}

查询的DSL语句如下：

GET /test/_search
{"suggest": {"title_suggest": { //补全的名字"text": "s", // 关键字"completion": {"field": "title", // 补全查询的字段"skip_duplicates": true, // 跳过重复的"size": 10 // 获取前10条结果}}}
}

结果，返回了三个补全信息，分别是SK-II,Sony,switch,这三个词分别是三个文档里的关键词信息

实现酒店搜索框自动补全

现在，我们的hotel索引库还没有设置拼音分词器，需要修改索引库中的配置。但是我们知道索引库是无法修改的，只能删除然后重新创建。

另外，我们需要添加一个字段，用来做自动补全，将brand、suggestion放进去，作为自动补全的提示。

因此，总结一下，我们需要做的事情包括：

修改hotel索引库结构，设置自定义拼音分词器
修改索引库的name、all字段，使用自定义分词器
索引库添加一个新字段suggestion，类型为completion类型，使用自定义的分词器
给HotelDoc类添加suggestion字段，内容包含brand、business
重新导入数据到hotel库

修改酒店索引库的映射结构

这里设置了两个自定义分词器，一个分词器需要使用ik分词器，搜索框的文本内容进行搜索时需要进行分词，一个分词器是keyword，不需要进行分词，这个是suggestion字段使用的分词器，因为suggestion存的是关键字数组，关键字是我们自己设置的，所以不需要进行分词了

// 酒店数据索引库
PUT /hotel
{"settings": {"analysis": {"analyzer": {"text_anlyzer": {"tokenizer": "ik_max_word","filter": "py"},"completion_analyzer": {  "tokenizer": "keyword","filter": "py"}},"filter": {"py": {"type": "pinyin","keep_full_pinyin": false,"keep_joined_full_pinyin": true,"keep_original": true,"limit_first_letter_length": 16,"remove_duplicated_term": true,"none_chinese_pinyin_tokenize": false}}}},"mappings": {"properties": {"id":{"type": "keyword"},"name":{"type": "text","analyzer": "text_anlyzer","search_analyzer": "ik_smart","copy_to": "all"},"address":{"type": "keyword","index": false},"price":{"type": "integer"},"score":{"type": "integer"},"brand":{"type": "keyword","copy_to": "all"},"city":{"type": "keyword"},"starName":{"type": "keyword"},"business":{"type": "keyword","copy_to": "all"},"location":{"type": "geo_point"},"pic":{"type": "keyword","index": false},"all":{"type": "text","analyzer": "text_anlyzer","search_analyzer": "ik_smart"},"suggestion":{"type": "completion","analyzer": "completion_analyzer"}}}
}

修改HotelDoc实体类

suggestion设置为List<String>属性，然后把brand,business,city作为关键字存入suggestion数组中

/*** 构建一个Hotel类插入es索引库的封装类类*/
@Data
@NoArgsConstructor
public class HotelDoc {private Long id;private String name;private String address;private Integer price;private Integer score;private String brand;private String city;private String starName;private String business;private String location;private String pic;//距离private Object distance;//是否打广告private boolean isAD;//价值private Integer value;//关键字集合private List<String>suggestion;public HotelDoc(Hotel hotel){this.id=hotel.getId();this.name=hotel.getName();this.address=hotel.getAddress();this.price=hotel.getPrice();this.score=hotel.getScore();this.brand=hotel.getBrand();this.city=hotel.getCity();this.starName=hotel.getStarName();this.business=hotel.getBusiness();this.location=hotel.getLatitude()+", "+hotel.getLongitude();this.pic=hotel.getPic();// 组装suggestionif(this.business.contains("/")){// business有多个值，需要切割String[] arr = this.business.split("/");// 添加元素this.suggestion = new ArrayList<>();this.suggestion.add(this.brand);this.suggestion.add(this.city);Collections.addAll(this.suggestion, arr);}else {this.suggestion = Arrays.asList(this.brand, this.business,this.city);}}
}

批量插入数据到es的hotel库中

    /*** 批量导入数据*/@Testpublic void test05() throws IOException {//使用mapper查询到所有数据List<Hotel> hotels = hotelMapper.selectList(null);BulkRequest bulkRequest = new BulkRequest("hotel");hotels.stream().forEach(hotel -> {//把hotel变成hotelDoc类对象，并序列化成json数据String jsonDSL = JSON.toJSONString(new HotelDoc(hotel));//构建 新增文档请求对象IndexRequest request = new IndexRequest("hotel").id(hotel.getId()+"").source(jsonDSL, XContentType.JSON);//将请求对象添加到bulkRequest中bulkRequest.add(request);});//发送请求restHighLevelClient.bulk(bulkRequest,RequestOptions.DEFAULT);}

插入成功

自动补全查询的JavaAPI

解析数据

实现搜索框自动补全

查看前端页面，可以发现当我们在输入框键入时，前端会发起ajax请求：

返回值是补全词条的集合，类型为List<String>

controller

 /*** 补全功能* @param prefix 需要补全的内容*/@GetMapping("suggestion")public List<String> getSuggestions(@RequestParam("key") String prefix) {return hotelService.getSuggestions(prefix);}

service

/*** 补全功能* @param prefix 需要补全的内容*/@Overridepublic List<String> getSuggestions(String prefix) {SearchRequest request = new SearchRequest("hotel");request.source().suggest(new SuggestBuilder().addSuggestion("mySuggestion",SuggestBuilders.completionSuggestion("suggestion").prefix(prefix).skipDuplicates(true).size(10)));//发起请求SearchResponse response = null;try {response = restHighLevelClient.search(request, RequestOptions.DEFAULT);} catch (IOException e) {throw new RuntimeException("补全功能失效");}//解析返回数据Suggest suggest = response.getSuggest();//根据名称获取补全结果CompletionSuggestion mySuggestion = suggest.getSuggestion("mySuggestion");List<String>suggestions=new ArrayList<>();//如果不存在这个名字的补全名字或者没有匹配的关键字，直接返回空集合if(mySuggestion==null||CollectionUtils.isEmpty(mySuggestion.getOptions())){return suggestions;//返回空集合}for (CompletionSuggestion.Entry.Option option : mySuggestion.getOptions()) {String key = option.getText().string();suggestions.add(key);}return suggestions;}