当前位置：首页 > news >正文

es的DSL查询语句

news 2024/10/22 9:34:22

DSL查询文档

DSL查询分类

全文检索查询

全文检索查询的基本流程

基本语法

match查询例子

multi_match查询例子

总结

精确查询

基本语法

term查询例子

编辑 range查询例子

总结

地理坐标查询

矩形范围查询

地理半径查询

复合查询

function_score算分查询例子

function_score算分查询流程

示例

小结

bool查询例子

语法

示例

小结

搜索结果处理

排序

普通字段排序

编辑地理坐标排序

分页

深度分页问题

小结

高亮

总结

DSL查询文档

elasticsearch的查询依然是基于JSON风格的DSL来实现的。

DSL查询分类

Elasticsearch提供了基于JSON的DSL（Domain Specific Language）来定义查询。常见的查询类型包括：

查询所有：查询出所有数据，一般测试用。例如：match_all
全文检索（full text）查询：利用分词器对用户输入内容分词，然后去倒排索引库中匹配。例如：
- match_query
- multi_match_query
精确查询：根据精确词条值查找数据(不能分词的字段)，一般是查找keyword、数值、日期、boolean等类型字段。例如：
- ids
- range
- term
地理（geo）查询：根据经纬度查询。例如：
- geo_distance
- geo_bounding_box
复合（compound）查询：复合查询可以将上述各种查询条件组合起来，合并查询条件。例如：
- bool
- function_score

查询语法

GET /indexName(索引库名字)/_search
{"query": {"查询类型": {"查询条件": "条件值"}}
}

我们以查询所有为例，其中：

查询类型为match_all
没有查询条件

GET /hotel/_search
{"query": {"match_all":#查询类型{}#没有查询条件}
}

全文检索查询

全文检索查询的基本流程

对用户搜索的内容先进行分词处理，然后拿着分出来的词条去倒排索引库中进行比对，获取这些词条对应的所有文档id，然后拿着这些文档id去索引库中去查询内容返回

注意：因为是拿着词条去匹配，因此参与搜索的字段最好是可分词的text类型的字段

基本语法

常见的全文检索查询类型

match:单字段查询
multi_match:多字段查询，任意一个字段符合条件就算符合查询条件

match查询例子

GET /hotel/_search
{"query"{"match":{#查询类型，单字段全文检索"all":"外滩如家" #查询条件，all为查询字段，"外滩如家"为条件值}}
}

all字段是text类型

可以看见命中了32条信息

把"外滩如家"根据ik分词器分成"外滩","如家",然后去倒排索引库查询 all字段中匹配的词，获取这些词的所有文档id，然后返回文档信息

multi_match查询例子

GET /hotel/_search
{"query":{"multi_match":{#查询条件，多字段查询"query":"外滩如家", #查询的条件值，即搜索的内容"fileids":["brand","city","name"]#参与匹配的字段}}
}

查询结果，匹配的文档也是32条

可以看到，两种查询结果是一样的，为什么？

因为我们将brand、name、city值都利用copy_to复制到了all字段中。因此你根据三个字段搜索，和根据all字段搜索效果当然一样了。

但是，搜索字段越多，对查询性能影响越大，因此建议采用copy_to，然后单字段查询的方式。

总结

match和multi_match的区别是什么？

match：根据一个字段查询
multi_match：根据多个字段查询，参与查询字段越多，查询性能越差

精确查询

精确查询一般是查找keyword,数值，日期，boolean等类型字段，所以不会对搜索的内容进行分词

基本语法

精确查询的查询类型有

term:根据词条精确值进行查询
range:根据值的范围查询

term查询例子

GET /hotel/_search
{"query":{"term": #查询类型，是根据值的精确值进行查询{"brand":{ #进行查询的字段"value":"如家"  #进行精确查询匹配的条件值}    }}
}

range查询例子

GET /hotel/_search
{"query":{"range":{#查询类型，为range范围查询"price":{ #查询的字段"gte":100, #大于等于100"lte":200 #小于等于200}}}
}

总结

常见的精确查询有哪些？

term查询：根据词条进行精确查询，一般搜索keyword类型，数据类型，布尔类型，日期类型字段
range查询:根据数值范围查询，可以是数值，日期类型字段的查询

地理坐标查询

矩形范围查询

矩形范围查询，也就是geo_bounding_box查询，查询坐标落在某个矩形范围的所有文档：

查询时，需要指定矩形的左上、右下两个点的坐标，然后画出一个矩形，落在该矩形内的都是符合条件的点。

GET /hotel/_search
{"query":{"geo_bounding_box":{#查询类型，根据一个矩形框地理位置内进行查询"location":{#进行查询的字段名"top_left":{#矩形左上角"lat":30 #维度"lon":120 #经度},"bottom_right":{矩形右上角"lat":31"lon":121},}}}
}

地理半径查询

GET /hotel/_search
{"query": {"geo_distance":{#查询类型，是地理半径查询"distance":"20km", #半径范围"location":"31,121" #当前位置维度，经度}}
}

复合查询

复合（compound）查询：复合查询可以将其它简单查询组合起来，实现更复杂的搜索逻辑。常见的有两种：

fuction score：算分函数查询，可以控制文档相关性算分，控制文档排名
bool query：布尔查询，利用逻辑关系组合多个其它的查询，实现复杂搜索

function_score算分查询例子

当我们利用match查询时，文档结果会根据与搜索词条的关联度打分（_score），返回结果时按照分值降序排列。

[{"_score" : 17.850193,"_source" : {"name" : "虹桥如家酒店真不错",}},{"_score" : 12.259849,"_source" : {"name" : "外滩如家酒店真不错",}},{"_score" : 11.91091,"_source" : {"name" : "迪士尼如家酒店真不错",}}
]

我们要控制每个文档的关联度打分，就需要利用elasticsearch中的function score 查询了。

function score 查询中包含四部分内容：

原始查询条件：query部分，基于这个条件搜索文档，并且基于BM25算法给文档打分，原始算分（query score)
过滤条件：filter部分，符合该条件的文档才会重新算分
算分函数：符合filter条件的文档要根据这个函数做运算，得到的函数算分（function score），有四种函数
- weight：函数结果是常量
- field_value_factor：以文档中的某个字段值作为函数结果
- random_score：以随机数作为函数结果
- script_score：自定义算分函数算法
运算模式：算分函数的结果、原始查询的相关性算分，两者之间的运算方式，包括：
- multiply：相乘
- replace：用function score替换query score
- 其它，例如：sum、avg、max、min

function_score算分查询流程

1.先根据原始条件查询文档，并且计算每个文档的相关性算分，成为原始算分

2.再根据function里的filter条件过滤去符合条件的文档

3.符合过滤条件的文档，再基于算分函数运算，得到函数算分

4.将原始算分（query score）和函数算分（function score）基于运算模式做运算，得到最终结果，作为相关性算分。

因此，其中的关键点是：

过滤条件：决定哪些文档的算分被修改
算分函数：决定函数算分的算法
运算模式：决定最终算分结果

示例

需求：给“如家”这个品牌的酒店排名靠前一些

翻译一下这个需求，转换为之前说的四个要点：

原始条件：不确定，可以任意变化
过滤条件：brand = "如家"
算分函数：可以简单粗暴，直接给固定的算分结果，weight
运算模式：比如求和

#基于算分查询进行查询
GET /hotel/_search
{"query": {"function_score": {  #使用算分函数查询"query": {"term": {  #原始查询方式为精确查询"city": "上海"}},"functions": [ #算分函数{"filter": { #过滤"term": { #过滤方式为精确过滤"brand": "如家"}},"weight": 10 #符合条件的文档直接赋予函数算分}],"boost_mode":"sum" #把原始算分和函数算分相加}}
}

可以看到_score分数为原始算分和函数算分的相加的结果

小结

function score query定义的三要素是什么？

过滤条件：哪些文档要加分
算分函数：如何计算function score
加权方式：function score 与 query score如何运算

bool查询例子

布尔查询是一个或多个查询子句的组合，子查询的组合方式有：

must:必须匹配每个子查询，类似于“且”

should:选择性匹配子查询，类似于“或”

must_not:必须不匹配，不参与算分，类似于"非"

filter:必须匹配，不参数算分

需要注意的是，搜索时，参与打分的字段越多，查询的性能也越差。因此这种多条件查询时，建议这样做：

搜索框的关键字搜索，是全文检索查询，使用must查询，参与算分
其它过滤条件，采用filter查询。不参与算分

语法

GET /hotel/_search
{"query": {"bool": {"must": [{"term": {"city": "上海" }}],"should": [{"term": {"brand": "皇冠假日" }},{"term": {"brand": "华美达" }}],"must_not": [{ "range": { "price": { "lte": 500 } }}],"filter": [{ "range": {"score": { "gte": 45 } }}]}}
}

示例

需求：搜索名字包含“如家”，价格不高于400，在坐标31.21,121.5周围10km范围内的酒店。

分析：

名称搜索，属于全文检索查询，应该参与算分。放到must中
价格不高于400，用range查询，属于过滤条件，不参与算分。放到must_not中
周围10km范围内，用geo_distance查询，属于过滤条件，不参与算分。放到filter中

#bool查询，搜索名字包含“如家”，价格不高于400，在坐标31.21,121.5周围10km范围内的酒店。
GET /hotel/_search
{"query": {"bool": { #查询类型是bool查询"must": [ #必须匹配的子查询{"match": { #子查询类型为全文检索匹配"name": "如家"}}],"must_not": [ #非，不参与算分{"range": {"price": {"gt": 400}}}],"filter": [ #过滤条件，不参数算分{"geo_distance": { #范围过滤"distance":"10km","location": {"lat": 31.21,"lon": 121.5}}}]}}
}

小结

bool查询有几种逻辑关系？

must：必须匹配的条件，可以理解为“与”
should：选择性匹配的条件，可以理解为“或”
must_not：必须不匹配的条件，不参与打分
filter：必须匹配的条件，不参与打分

搜索结果处理

排序

elasticsearch默认是根据相关度算分（_score）来排序，但是也支持自定义方式对搜索结果排序。可以排序字段类型有：keyword类型、数值类型、地理坐标类型、日期类型等。

普通字段排序

keyword、数值、日期类型排序的语法基本一致。

GET /indexName/_search
{"query": {"match_all": {}},"sort": [{"FIELD": "desc"  // 排序字段、排序方式ASC、DESC}]
}

排序条件是一个数组，也就是可以写多个排序条件。按照声明的顺序，当第一个条件相等时，再按照第二个条件排序，以此类推

示例：

需求描述：酒店数据按照用户评价（score)降序排序，评价相同的按照价格(price)升序排序

地理坐标排序

GET /indexName/_search
{"query": {"match_all": {}},"sort": [{"_geo_distance" : {"FIELD" : "纬度，经度", // 文档中geo_point类型的字段名、目标坐标点"order" : "asc", // 排序方式"unit" : "km" // 排序的距离单位}}]
}

这个查询的含义是：

指定一个坐标，作为目标点
计算每一个文档中，指定字段（必须是geo_point类型）的坐标到目标点的距离是多少
根据距离排序

示例：

需求描述：实现对酒店数据按照到你的位置坐标的距离升序排序

假设我的位置是：31.034661，121.612282，寻找我周围距离最近的酒店。

sort值为距离的具体值

分页

elasticsearch 默认情况下只返回top10的数据。而如果要查询更多数据就需要修改分页参数了。elasticsearch中通过修改from、size参数来控制要返回的分页结果：

from：从第几个文档开始
size：总共查询几个文档

类似于mysql中的limit ?, ?

语法

GET /hotel/_search
{"query": {"match_all": {}},"from": 0, // 分页开始的位置，默认为0"size": 10, // 期望获取的文档总数"sort": [{"price": "asc"}]
}

从第二十条文档开始搜索，找两条数据

深度分页问题

现在，我要查询990~1000的数据，查询逻辑要这么写：

GET /hotel/_search
{"query": {"match_all": {}},"from": 990, // 分页开始的位置，默认为0"size": 10, // 期望获取的文档总数"sort": [{"price": "asc"}]
}

这里是查询990开始的数据，也就是第990~第1000条数据。

不过，elasticsearch内部分页时，必须先查询 0~1000条，然后截取其中的990 ~ 1000的这10条：

查询TOP1000，如果es是单点模式，这并无太大影响。

但是elasticsearch将来一定是集群，例如我集群有5个节点，我要查询TOP1000的数据，并不是每个节点查询200条就可以了。

因为节点A的TOP200，在另一个节点可能排到10000名以外了。

因此要想获取整个集群的TOP1000，必须先查询出每个节点的TOP1000，汇总结果后，重新排名，重新截取TOP1000。

那如果我要查询9900~10000的数据呢？是不是要先查询TOP10000呢？那每个节点都要查询10000条？汇总到内存中？

当查询分页深度较大时，汇总数据过多，对内存和CPU会产生非常大的压力，因此elasticsearch会禁止from+ size 超过10000的请求。

针对深度分页，ES提供了两种解决方案，官方文档：

search after：分页时需要排序，原理是从上一次的排序值开始，查询下一页数据。官方推荐使用的方式。
scroll：原理将排序后的文档id形成快照，保存在内存。官方已经不推荐使用。

当前最后一个的文档排序值为48,489,根据这个排序值继续往下查询

查询的下一值是从排序值[48,489]开始的，但是不包括这个值的文档

小结

分页查询的常见实现方案以及优缺点：

from + size：
- 优点：支持随机翻页
- 缺点：深度分页问题，默认查询上限（from + size）是10000
- 场景：百度、京东、谷歌、淘宝这样的随机翻页搜索
search_after：
- 优点：没有查询上限（单次查询的size不超过10000）
- 缺点：只能向后逐页查询，不支持随机翻页
- 场景：没有随机翻页需求的搜索，例如手机向下滚动翻页
scroll：
- 优点：没有查询上限（单次查询的size不超过10000）
- 缺点：会有额外内存消耗，并且搜索结果是非实时的
- 场景：海量数据的获取和迁移。从ES7.1开始不推荐，建议用 after search方案。

高亮

GET /hotel/_search
{"query": {"match": {"FIELD": "TEXT" // 查询条件，高亮一定要使用全文检索查询}},"highlight": {"fields": { // 指定要高亮的字段"FIELD": {"pre_tags": "<em>",  // 用来标记高亮字段的前置标签"post_tags": "</em>" // 用来标记高亮字段的后置标签}}}
}

注意：

高亮是对关键字高亮，因此搜索条件必须带有关键字，而不能是范围这样的查询。
默认情况下，高亮的字段，必须与搜索指定的字段一致，否则无法高亮
如果要对非搜索字段高亮，则需要添加一个属性：required_field_match=false

#高亮
GET /hotel/_search
{"query": {"match": {"all": "外滩" #使用all字段全文检索}},"highlight": { #高亮"fields": {"name":{#对name字段高亮"pre_tags":"<em>", #这两个属性可以不写，默认也是<em>"post_tags":"</em>","require_field_match":"false"  #name不是参与搜索的字段，但是需要高亮}}}
}