ElasticSearch - DSL查询文档语法，以及深度分页问题、解决方案

目录

一、DSL 查询文档语法

前言

1.1、DSL Query 基本语法

1.2、全文检索查询

1.2.1、match 查询

1.2.2、multi_match

1.3、精确查询

1.3.1、term 查询

1.3.2、range 查询

1.4、地理查询

1.4.1、geo_bounding_box

1.4.2、geo_distance

1.5、复合查询

1.5.1、相关性算分

1.5.2、function_score

1.5.3、boolean query

1.6、搜索结果处理

1.6.1、排序

1.6.2、分页

深度分页问题

深度分页问题的解决方案

1.6.3、高亮

1.6.4、搜索语法汇总语法

一、DSL 查询文档语法

前言

本文中的案例，继续延续上一章节的酒店数据.

1.1、DSL Query 基本语法

基本查询语法如下：

GET /索引库名/_search
{"query": {"查询类型": {"查询条件": "条件值"}}
}

例如查询酒店所有数据（一般生产环境下不会这么做，因为数据量有可能非常大，所以查询非常耗时，因此一般用于测试用）

GET /hotel/_search
{"query": {"match_all": {//由于这里是查询所有数据，因此没有查询条件}}
}

1.2、全文检索查询

全文检索查询，会通过 分词器 对用户输入内容进行分词处理，然后去倒排索引库中匹配.  经常用于搜索框的搜索，例如百度搜索框.

1.2.1、match 查询

全文检索查询中的一种，会对用户输入内容进行分词，然后去倒排索引库中检索，语法如下：

GET /索引库名/_search
{"query": {"match": {"字段名": "TEXT文本内容"}}
}

例如查询 “如家酒店” 相关的数据.

GET /hotel/_search
{"query": {"match": {"all": "北京如家酒店"}}
}

Ps：all 这里通过 copy_to 拷贝了多个字段，例如 name、city....（具体上章有介绍） 

1.2.2、multi_match

与 match 查询类似，只不过允许同时查询多个字段. 

Ps：多个字段查询也意味着查询性能低下，建议可以使用 copy_to 将其他字段的索引拷贝到一个字段，可以提升查询效率.

语法如下：

GET /indexName/_search
{"query": {"multi_match": {"query": "TEXT","fields": ["字段名1", " 字段名2"]}}
}

例如根据 name、和 city 字段查询酒店数据.

GET /hotel/_search
{"query": {"multi_match": {"query": "上海如家酒店","fields": ["name", "city"]}}
}

1.3、精确查询

精确查询一般是查找 keyword、数值、日期、boolean 等类型字段，因此 不会 对搜索条件进行分词.

例如你在淘宝里买东西的时候，要通过一些信息进行筛选，比如 销量、信誉、价格升序... 这些词一般都是固定一个按钮，点击就会帮你做筛选.

1.3.1、term 查询

term 查询主要是根据 词条 精确值进行查询，一般搜索 keyword 类型、数值类型、布尔类型、日期类型字段.

语法如下：

// term查询
GET /索引名/_search
{"query": {"term": {"字段名": {"value": "字段值"}}}
}或者简化为GET /索引名/_search
{"query": {"term": {"字段名": "字段值"}}
}

例如我要搜索在上海的所有酒店（这里 city 就是 keyword）.

GET /hotel/_search
{"query": {"term": {"city": {"value": "上海"}}}
}或者GET /hotel/_search
{"query": {"term": {"city": "上海"}}
}

1.3.2、range 查询

根据数值的范围查询，可以是数值、日期的范围.

语法如下：

// range查询
GET /indexName/_search
{"query": {"range": {"字段名": {"gte": 10,  //大于等于 10"lte": 20   //小于等于 20}}}
}或者GET /indexName/_search
{"query": {"range": {"字段名": {"gt": 10,  //大于 10"lt": 20   //小于 20}}}
}

例如我要查询价格大于等于 161， 小于等于 300 的酒店.

1.4、地理查询

根据经纬度查询，例如 

  • 滴滴：搜索附近的出租出.
  • 携程：搜索附近的酒店.
  • 微信：搜索附近的人.

1.4.1、geo_bounding_box

geo_bounding_box 用来查询 geo_point 值在某个矩形范围的所有文档.

// geo_bounding_box查询
GET /索引库名/_search
{"query": {"geo_bounding_box": {"字段名": {"top_left": {"lat": 31.1, //纬度"lon": 121.5 //经度},"bottom_right": {"lat": 30.9,"lon": 121.7}}}}
}

Ps：这个不是很常用

1.4.2、geo_distance

查询到指定中心点小于某个距离值的所有文档.

语法如下：

// geo_distance 查询
GET /索引库名/_search
{"query": {"geo_distance": {"distance": "15km",//半径长度"FIELD": "31.21,121.5" //纬度，经度}}
}

例如查询纬度 31.21，经度 121.5 ，半径 10km 画圆内的酒店.

1.5、复合查询

复合查询，可以将其他简单的查询组合起来，实现更复杂的搜索逻辑.

例如 function score（算分函数查询），可以控制文档相关性算分，控制文档排名，比如你在百度搜索 “不孕不育”，指定的肯定是广告~  为什么？人家给的钱到位~

1.5.1、相关性算分

当我们使用 match 查询的时候，查询的结果会根据与搜索词条的关联度打分（_score），返回结果时按照分值降序排列.

在 elasticsearch 5.0 之前，使用 TF-IDF 算法，会随着词频增加而越来越大.

在 elasticsearch 5.0 之后，使用 BM25 算法，分值会随着词频增加而增大，但增长曲线会趋于水平.

1.5.2、function_score

使用 function_score ，可以修改文档的相关性算分，根据新得的算分排序.

由于这里语法比较复杂，先给出个示例，如下

GET /hotel/_search
{"query": {"function_score": {"query": {"match": {"city": "上海"}},"functions": [{"filter": {"term": {"id": "1"}},"weight": 10}],"boost_mode": "multiply"}}
}
  • "query": {"match": {"city": "上海"}}：原始查询条件，搜索文档并根据相关性打分.
  • "filter": {"term": {"id": "1"}}：过滤条件，符合条件的文档才会背重新算分.
  • "weight": 10：算分函数，将来会与 query score 进行运算，得到新算分，常见的算分函数有
    • weight：给一个常量值，作为函数的结果.
    • field_value_factor：用文档中的某个字段值作为函数结果.
    • random_score：随机生成一个值，作为函数的结果.
    • script_score：自定义计算公式，公式结果作为函数结果.
  • "boost_mode": "multiply"：加权模式，定义 function score 和 query score 运算方式，包括
    • multiply（默认）：两者相乘.
    • replace：sum、avg、max、min.

例如给 “如家” 这个品牌的酒店排名靠前一些.

那么这里只需要明确以下几个点即可：

  • 品牌："如家"
  • 算分函数：weight 就可以.
  • 加权：求和.
GET /hotel/_search 
{"query": {"function_score": {"query": {"match_all": {}},"functions": [ //算分函数{"filter": {"term": { //需要满足的条件: 品牌必须是如家"brand": "如家"}},"weight": 3 //算分权重为 3}],"boost_mode": "sum" //加和算分}}
}

1.5.3、boolean query

布尔查询是一个或多个查询子句的组合. 子查询的组合方式有：

  • must：必须匹配的查询条件，类似 “与”.
  • should：选择性匹配的查询条件，类似 “或”.
  • must_not：必须不匹配，不参与算分，类似 “非”.
  • filter：必须匹配，不参与算分.

例如，查询城市在上海，品牌可以是 "皇冠假日" 或者是 “华美达”，价格必须不小于等于 500，并且评分大于等于 45 的.

GET /hotel/_search
{"query": {"bool": {"must": [{"term": {"city": "上海"}}],"should": [{"term": {"brand": "皇冠假日"}},{"term": {"brand": "华美达"}}],"must_not": [{"range": {"price": {"lte": 500}}}],"filter": [{"range": {"score": {"gte": 45}}}]}}
}

1.6、搜索结果处理

1.6.1、排序

es 支持对搜索结果进行排序处理，默认是根据相关度算分（_score）来排序.  可以排序的字段类型有（不分词）：keyword 类型、数值类型、地理坐标类型、日期类型.

语法如下：

GET /索引库名/_search
{"query": {"match_all": {} //搜索内容},"sort": [{"字段名": "desc"  // 排序字段和排序方式ASC、DESC}]
}

如果要根据经纬度排序，语法如下：

GET /索引库名/_search
{"query": {"match_all": {}},"sort": [{"_geo_distance" : {"字段名" : "纬度，经度","order" : "asc","unit" : "km"}}]
}

例如对酒店用户评价降序排序，评价相同的按照价格升序排序.

GET /hotel/_search
{"query": {"match_all": {}},"sort": [{"score": {"order": "desc"},"price": {"order": "asc"}}]
}

1.6.2、分页

elasticsearch 默认情况下只会返回 top 10 的数据.  如果要查询更多数据，就需要修改分页参数了.

在 es 中通过 from（偏移量，分页开始的位置，默认为 0） 和 size（期望获取的文档总数） 参数控制返回的分页结果，这里和 mysql 中的 limit 本质是一样的.

例如获取 20 ~ 29 这 10 条数据.

GET /hotel/_search
{"query": {"match_all": {}},"from": 20, // 分页开始的位置，默认为0"size": 10, // 期望获取的文档总数"sort": [{"price": "asc"}]
}

 

深度分页问题

ES 是支持分布式的，所以会存在深度分页的问题.

例如按照 price 排序后，获取 from = 990, size = 10 的数据.

1. 首先在每个数据分片上都排序并查询前 1000 条文档.

2. 将所有节点的数据聚合，在内从中重新排序选出前 1000 条文档.

3. 最后从这 1000 条文档中，选取 990 开始往后的 10 条数据.

打个比方，就类似于你在学校，有 10 个年级（10 个分片），你需要从这 10 个年级中找出排名前 100 的学生，那么由于考试的排名是以班级为单位的，因此，你就需要从每个班里都找出 排名前100 的学生，那么 10 个年级就意味着需要拿出 1000 个学生，然后再让他们进行一次考试，才能拿到排名前 10 的学生.

那么如果搜索页数过深，或者结果集过大，对 内存 和 CPU 的消耗也越高，因此 es 设定结果集查询的上显示 10000.

深度分页问题的解决方案

有两种办法，可以使得查询数据没有上限：

1. search after（官方推荐）：分页的时候需要排序.  也就是说先对数据排序，接着当本次分页完成后，就从这次分页完成的下一个排序值开始，查询下一页数据. 

但是这种方法的缺点就是 只能向后逐页查询，不支持随机翻页.

适合没有随机翻页需求的搜索，例如手机向下翻页.

2. scroll（es 7.1 后，官方已经不推荐使用了）：原理就是将排序数据形成快照，保存再内存. 

缺点很明显，就是消耗额外内存.

1.6.3、高亮

高亮就是指再搜索结果中把搜索关键字突出显示.  例如你在百度中搜索 "不孕不育"，就会把搜索结果中所有出现 Java 关键字的内容标红.

原理如下：

  1. 给搜索结果中的关键字添加 HTML 标签处理.
  2. 在页面中给标签添加 css 样式.

语法如下：

GET /索引库/_search
{"query": {"match": {"字段名": "要搜索的文本" //注意！默认情况下，搜索的字段必须要于高亮的字段一致，否则不会高亮}},"highlight": {"fields": { // 指定要高亮的字段"字段名": {"pre_tags": "<em>",  // 用来标记高亮字段的前置标签"post_tags": "</em>" // 用来标记高亮字段的后置标签}}}
}

例如，我要搜索品牌是如家，并且让 "如家" 字段高亮. 

Ps：默认情况下，es 中搜索的字段必须要于高亮的字段一致，否则不会高亮

但是如果你就是想让搜索的字段和高亮字段不一致，那可以添加 "require_field_match": "false" 的属性，如下：

1.6.4、搜索语法汇总语法

语法如下：

GET /hotel/_search
{"query": {"match": {"brand": "如家"}},"from": 20, // 分页开始的位置"size": 10, // 期望获取的文档总数"sort": [ {  "price": "asc" }, // 升序排序{"_geo_distance" : { // 距离排序"location" : "31.04,121.61", "order" : "asc","unit" : "km"}}],"highlight": {"fields": { // 高亮字段"name": {"require_field_match": "false", //高亮字段不受查询字段限制"pre_tags": "<em>",  // 用来标记高亮字段的前置标签"post_tags": "</em>" // 用来标记高亮字段的后置标签}}}
}

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/141644.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

关键点检测 HRNet网络详解笔记

关键点检测 HRNet网络详解笔记

关键点检测 HRNet网络详解笔记 0、COCO数据集百度云下载地址1、背景介绍2、HRNet网络结构3、预测结果&#xff08;heatmap&#xff09;的可视化3、COCO数据集中标注的17个关键点4、损失的计算5、评价准则6、数据增强7、模型训练 论文名称&#xff1a; Deep High-Resolution Rep…
阅读更多...
Learn Prompt- Midjourney案例:网页设计

Learn Prompt- Midjourney案例:网页设计

快速开始​ 用 “ web design for...” 或 “ modern web design for..” 来快速开始你的提示。 web design for a generic SaaS startup --ar 3:2否定提示-no​ 使用--no告诉 Midjourney 你不想要什么。Midjourney 的默认风格倾向于现实和详细。但这可能不适用于所有品牌。…
阅读更多...
AI聊天ChatGPT系统源码卡密验证开源版

AI聊天ChatGPT系统源码卡密验证开源版

ChatGPT卡密验证版源码是一个基于PHP7.4和MySQL5.6的聊天AI源码&#xff0c;它不仅支持暗黑模式、反应速度极快&#xff0c;而且充值方面采用后台生成卡密方式&#xff0c;方便快捷&#xff0c;如果您有能力将其接入在线支付&#xff0c;即可进一步拓展充值方式&#xff0c;为更…
阅读更多...
白帽学苑-内网渗测靶机训练(1)

白帽学苑-内网渗测靶机训练(1)

本文对应靶机地址&#xff1a; BoredHackerBlog: Social Network ~ VulnHub 涉及知识点&#xff1a; 主机发现端口扫描服务发现路径爬取代码注入Shell脚本内网信息收集内网穿透漏洞利用密码破解本地提权攻击代码修改 将靶机导入虚拟机中&#xff0c;桥接模式&#xff0c;直接…
阅读更多...
基于springboot会员制医疗预约服务管理信息系统springboot017

基于springboot会员制医疗预约服务管理信息系统springboot017

大家好✌&#xff01;我是CZ淡陌。一名专注以理论为基础实战为主的技术博主&#xff0c;将再这里为大家分享优质的实战项目&#xff0c;本人在Java毕业设计领域有多年的经验&#xff0c;陆续会更新更多优质的Java实战项目&#xff0c;希望你能有所收获&#xff0c;少走一些弯路…
阅读更多...
Mysql编译安装和yum安装

Mysql编译安装和yum安装

一、msql数据库介绍 1、什么是sql sql代表结构化查询语言&#xff0c;sql是用于访问数据库的标椎化语言 sql包含三个部分 DDL数据定义语言包含定义数据库及其对象的语言&#xff0c;例如表&#xff0c;视图&#xff0c;触发器&#xff0c;存储过程等 DML数据操作语言包含允许数…
阅读更多...
pytorch迁移学习训练图像分类

pytorch迁移学习训练图像分类

pytorch迁移学习训练图像分类 一、环境配置二、迁移学习关键代码三、完整代码四、结果对比 代码和图片等资源均来源于哔哩哔哩up主&#xff1a;同济子豪兄 讲解视频&#xff1a;Pytorch迁移学习训练自己的图像分类模型 一、环境配置 1&#xff0c;安装所需的包 pip install …
阅读更多...
【深度学习实验】卷积神经网络（一）：卷积运算及其Pytorch实现（一维卷积：窄卷积、宽卷积、等宽卷积；二维卷积）

【深度学习实验】卷积神经网络（一）：卷积运算及其Pytorch实现（一维卷积：窄卷积、宽卷积、等宽卷积；二维卷积）

目录 一、实验介绍 二、实验环境 1. 配置虚拟环境 2. 库版本介绍 三、实验内容 1. 一维卷积 a. 概念 b. 示例 c. 分类 窄卷积&#xff08;Narrow Convolution&#xff09; 宽卷积&#xff08;Wide Convolution&#xff09; 等宽卷积&#xff08;Same Convolution&am…
阅读更多...
Python开发与应用实验2 | Python基础语法应用

Python开发与应用实验2 | Python基础语法应用

*本文是博主对学校专业课Python各种实验的再整理与详解&#xff0c;除了代码部分和解析部分&#xff0c;一些题目还增加了拓展部分&#xff08;⭐&#xff09;。拓展部分不是实验报告中原有的内容&#xff0c;而是博主本人自己的补充&#xff0c;以方便大家额外学习、参考。 &a…
阅读更多...
Python3 如何实现 websocket 服务？

Python3 如何实现 websocket 服务？

Python 实现 websocket 服务很简单&#xff0c;有很多的三方包可以用&#xff0c;我从网上大概找到三种常用的包&#xff1a;websocket、websockets、Flask-Sockets。 但这些包很多都“年久失修”&#xff0c; 比如 websocket 在 2010 年就不维护了。 而 Flask-Sockets 也在 2…
阅读更多...
通信协议：Uart的Verilog实现（上）

通信协议：Uart的Verilog实现（上）

1、前言 调制解调器是主机/设备与串行数据通路之间的接口&#xff0c;以串行单比特格式发送和接收数据。它也被称为通用异步收发器(Uart, Universal Asynchronous Receiver/Transmitter)&#xff0c;这表明该设备能够接收和发送数据&#xff0c;并且发送和接收单元不同步。 本节…
阅读更多...
递归算法讲解，深度理解递归

递归算法讲解，深度理解递归

首先最重要的就是要说明递归思想的作用&#xff0c;在后面学习的高级数据接口&#xff0c;树和图中&#xff0c;都需要用到递归&#xff0c;即深度优先搜索&#xff0c;如果递归掌握的不好&#xff0c;后面的数据结构将举步为艰。 加油 首先看下如何下面两个方法有什么区别&a…
阅读更多...
git revert 撤销之前的提交

git revert 撤销之前的提交

git revert 用来撤销之前的提交&#xff0c;它会生成一个新的 commit id 。 输入 git revert --help 可以看到帮忙信息。 git revert commitID 不编辑新的 commit 说明 git log 找到需要撤销的 commitID &#xff0c; 然后执行 git revert commitID &#xff0c;会提示如下…
阅读更多...
Allegro如何将丝印文字Change到任意层面操作指导

Allegro如何将丝印文字Change到任意层面操作指导

Allegro如何将丝印文字Change到任意层面操作指导 在用Allegro进行PCB设计的时候，有时需要将丝印文字change到其它层面，如下图 可以看到丝印文字是属于REFDES这个Class的 如果需要把丝印文字change层面，只支持REFDES中以下的层面中来change
阅读更多...
入门级制作电子期刊的网站推荐

入门级制作电子期刊的网站推荐

随着数字化时代的到来&#xff0c;越来越多的人开始尝试制作自己的电子期刊。如果你也是其中的一员&#xff0c;那么这篇文章可以帮助你制作电子期刊。无论是初学者还是有一定经验的制作者&#xff0c;都能快速完成高质量的电子期刊制作 小编经常使用的工具是-----FLBOOK在线制…
阅读更多...
95 # express 二级路由的实现

95 # express 二级路由的实现

上一节实现了兼容老的路由写法&#xff0c;这一节来实现二级路由 二级路由实现核心&#xff1a; 进入中间件后&#xff0c;让对应的路由系统去进行匹配操作中间件进去匹配需要删除 path&#xff0c;存起来出去时在加上 示意图&#xff1a; 代码实现如下&#xff1a; rout…
阅读更多...
ASCII码-对照表

ASCII码-对照表

ASCII 1> ASCII 控制字符2> ASCII 显示字符3> 常用ASCII码3.1> 【CR】\r 回车符3.2> 【LF】\n 换行符3.3> 不同操作系统&#xff0c;文件中换行 1> ASCII 控制字符 2> ASCII 显示字符 3> 常用ASCII码 3.1> 【CR】‘\r’ 回车符 CR Carriage Re…
阅读更多...
安装OpenSearch

安装OpenSearch

title: “安装opensearch” createTime: 2021-11-30T19:13:4508:00 updateTime: 2021-11-30T19:13:4508:00 draft: false author: “name” tags: [“es”,“安装”] categories: [“OpenSearch”] description: “测试的” 说明 基于Elasticsearch7.10.2 的 opensearch-1.1.…
阅读更多...
arcgis搭建离线地图服务WMTS

arcgis搭建离线地图服务WMTS

Arcgis搭建离线地图服务WMTS 发布时间&#xff1a;2021-03-04 版权&#xff1a; ARCGIS搭建离线地图服务器&#xff0c;进行离线地图二次开发 2. 离线地图服务发布&#xff08;WMTS服务&#xff09; &#xff08;详细教程&#xff1a;卫星地图_高清卫星地图_地图编辑_离线地…
阅读更多...
商品秒杀系统整理

商品秒杀系统整理

1、使用redis缓存商品信息 2、互斥锁解决缓存击穿问题&#xff0c;用缓存空值解决缓存穿透问题。 3、CAS乐观锁解决秒杀超卖的问题 4、使用redission实现一人一单。&#xff08;分布式锁lua&#xff09;脚本。 5、使用lua脚本进行秒杀资格判断&#xff08;将库存和用户下单…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023