分布式搜索引擎

1 DSL查询文档

elasticsearch的查询依然是基于JSON风格的DSL来实现的。

1.1.DSL查询分类

Elasticsearch提供了基于JSON的DSL（Domain Specific Language）来定义查询。常见的查询类型包括：

  • 查询所有：查询出所有数据，一般测试用。例如：match_all

  • 全文检索（full text）查询：利用分词器对用户输入内容分词，然后去倒排索引库中匹配。例如：

    • match_query
    • multi_match_query

  • 精确查询：根据精确词条值查找数据，一般是查找keyword、数值、日期、boolean等类型字段。例如：

    • ids
    • range
    • term

  • 地理（geo）查询：根据经纬度查询。例如：

    • geo_distance
    • geo_bounding_box

  • 复合（compound）查询：复合查询可以将上述各种查询条件组合起来，合并查询条件。例如：

    • bool
    • function_score

查询的语法基本一致：

GET /indexName/_search
{"query": {"查询类型": {"查询条件": "条件值"}}
}

例如查询所有

  • 查询类型为match_all
  • 没有查询条件
// 查询所有
GET /indexName/_search
{"query": {"match_all": {}}
}

2.全文搜索查询

2.1.使用场景

全文检索查询的基本流程如下：

  • 对用户搜索的内容做分词，得到词条
  • 根据词条去倒排索引库中匹配，得到文档id
  • 根据文档id找到文档，返回给用户

比较常用的场景包括：

  • 商城的输入框搜索
  • 百度输入框搜索

2.2 match和mulit_match查询

match查询是全文检索查询的一种,会对用户输入内容进行分词,然后进行倒排索引库检索.(单字段查询)

  • match查询：单字段查询
  • multi_match查询：多字段查询，任意一个字段符合条件就算符合查询条件

match查询语法如下：

GET /indexName/_search
{"query": {"match": {"FIELD": "TEXT"}}
}

mulit_match语法如下：

GET /indexName/_search
{"query": {"multi_match": {"query": "TEXT","fields": ["FIELD1", " FIELD12"]}}
}

# 示例
GET /hotel/_search
{"query": {"match": {"all": "西直门如家"}}
}GET /hotel/_search
{"query": {"multi_match": {"query": "外滩如家","fields": ["brand","name"]}}
}

因为我们将brand、name、business值都利用copy_to复制到了all字段中。因此你根据三个字段搜索，和根据all字段搜索效果当然一样了。

但是，搜索字段越多，对查询性能影响越大，因此建议采用copy_to，然后单字段查询的方式。

match和multi_match的区别是什么？

  • match：根据一个字段查询
  • multi_match：根据多个字段查询，参与查询字段越多，查询性能越差

3.精确查询

精确查询一般是查找keyword、数值、日期、boolean等类型字段。所以不会对搜索条件分词。常见的有：

  • term：根据词条精确值查询
  • range：根据值的范围查询

利用term进行精确查询,精确查询city值为上海的酒店.

# term查询
GET /hotel/_search
{"query": {"term": {"city": {"value": "上海"}}}
}

利用range进行范围查询查询,查询price在100-300之间的酒店,其中gte表示大于等于,lte表示小于等于(另外还有gt和lt分别表示大于和小于).

# range查询
GET /hotel/_search
{"query": {"range": {"price": {"gte": 100,"lte": 300}}}
}

4.地理查询

根据经纬度查询.

4.1矩形范围查询

geo_bounding_box:查询geo_point落在某个矩形范围的所有文档.
在这里插入图片描述

// geo_bounding_box查询
GET /indexName/_search
{"query": {"geo_bounding_box": {"FIELD": {"top_left": { // 左上点"lat": 31.1,"lon": 121.5},"bottom_right": { // 右下点"lat": 30.9,"lon": 121.7}}}}
}

4.2附近查询

geo_distance:查询指定中心点小于某个距离值的所有文档.

// geo_distance 查询
GET /indexName/_search
{"query": {"geo_distance": {"distance": "15km", // 半径"FIELD": "31.21,121.5" // 圆心}}
}

5.相关算法

复合（compound）查询：复合查询可以将其它简单查询组合起来，实现更复杂的搜索逻辑。常见的有两种：

  • fuction score：算分函数查询，可以控制文档相关性算分，控制文档排名
  • bool query：布尔查询，利用逻辑关系组合多个其它的查询，实现复杂搜索

利用match查询时，文档结果会根据与搜索词条的关联度打分（_score），返回结果时按照分值降序排列。在elasticsearch中，早期使用的打分算法是TF-IDF算法，公式如下：
在这里插入图片描述

在后来的5.1版本升级中，elasticsearch将算法改进为BM25算法，公式如下：

image-20210721190416214

TF-IDF算法有一各缺陷，就是词条频率越高，文档得分也会越高，单个词条对文档影响较大。而BM25则会让单个词条的算分有一个上限，曲线更加平滑：

image-20210721190907320

5 Funciton score query

通过Funciton score query可以修改文档的相关性算分(query score),根据新的到的算分进行排序.
在这里插入图片描述

function score 查询中包含四部分内容：

  • 原始查询条件：query部分，基于这个条件搜索文档，并且基于BM25算法给文档打分，原始算分（query score)
  • 过滤条件：filter部分，符合该条件的文档才会重新算分
  • 算分函数：符合filter条件的文档要根据这个函数做运算，得到的函数算分（function score），有四种函数
    • weight：函数结果是常量
    • field_value_factor：以文档中的某个字段值作为函数结果
    • random_score：以随机数作为函数结果
    • script_score：自定义算分函数算法
  • 运算模式：算分函数的结果、原始查询的相关性算分，两者之间的运算方式，包括：
    • multiply：相乘
    • replace：用function score替换query score
    • 其它，例如：sum、avg、max、min

正常查询在外滩的酒店

GET /hotel/_search
{"query": {"function_score": {"query": {"match": {"all": "外滩"}}}}
}

在这里插入图片描述
给如家的酒店进行分数的加权,每个加十分.

GET /hotel/_search
{"query": {"function_score": {"query": {"match": {"all": "外滩"}},"functions": [{"filter": {"term": {"brand": "如家"}},"weight": 10}],"boost_mode": "sum"}}
}

在这里插入图片描述

6 Boolean Query

布尔查询是一个或多个查询子句的组合.组合方式有:

  • must：必须匹配每个子查询，类似“与”
  • should：选择性匹配子查询，类似“或”
  • must_not：必须不匹配，不参与算分，类似“非”
  • filter：必须匹配，不参与算分

查找上海的酒店
从皇宫假日和如家上选取
价格不低于500
评分高于45

GET /hotel/_search
{"query": {"bool": {"must": [{"term": {"city":"上海"}}],"should": [{"term": {"brand":"皇宫假日"}},{"term": {"brand":"如家"}}],"must_not": [{"range": {"price":{"lte": 500}}}],"filter": [{"range": {"score":{"gte": 45}}}]}}
}

需求：搜索名字包含“如家”，价格不高于400，在坐标31.21,121.5周围10km范围内的酒店。

分析：

  • 名称搜索，属于全文检索查询，应该参与算分。放到must中
  • 价格不高于400，用range查询，属于过滤条件，不参与算分。放到must_not中
  • 周围10km范围内，用geo_distance查询，属于过滤条件，不参与算分。放到filter中
GET /hotel/_search
{"query": {"bool": {"must": [{"term": {"brand":"如家"}}],"must_not": [{"range": {"price":{"gte": 400}}}],"filter": [{"geo_distance": {"distance": "10km", "location": "31.21,121.5" }}]}}
}

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/114546.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【ES6】—类与继承

【ES6】—类与继承

一、 定义类 class People {constructor (name, age) {this.name namethis.age age}showName () {console.log(this.name)} } let p1 new People(xiaoxiao, 30) console.log(p1) // People {name: xiaoxiao, age: 30}小节： 使用class关键字声明类使用construc…
阅读更多...
瓜分双十一10亿红包设计：在线分享教程？

瓜分双十一10亿红包设计：在线分享教程？

在如今激烈的市场竞争中，瓜分红包营销活动成为了各大企业争相使用的一种营销手段。这种活动不仅能够吸引用户的关注和参与，还能够提高用户的粘性和忠诚度。那么，如何自建瓜分红包营销活动呢？下面将为大家详细解析。 首先&#xff…
阅读更多...
Mysql高阶语句 （一）

Mysql高阶语句 （一）

一、常用查询 （增、删、改、查） 对 MySQL 数据库的查询，除了基本的查询外，有时候需要对查询的结果集进行处理。 例如只取 10 条数据、对查询结果进行排序或分组等等 1、按关键字排序 PS:类比于windows 任务管理器 使用 SELECT 语句…
阅读更多...
Ansible自动化运维工具

Ansible自动化运维工具

Ansible自动化运维工具 一、Ansible介绍1.Ansible工具：2.Ansible特点及优势3.Ansible核心程序4.Ansible的工作原理及流程 二、部署ansible自动化1.管理端安装ansible2.ansible 目录结构3.配置主机清单4.配置密钥对验证 三、ansible 命令行模块1.command 模块2.shell…
阅读更多...
java八股文面试[多线程]——AQS 详细介绍

java八股文面试[多线程]——AQS 详细介绍

线程同步除了Synchronized Volatile ReentranLock 之外，还有其他一些用来进行同步的机制。 AQS 简单介绍 AQS 的全称为（AbstractQueuedSynchronizer），这个类在 java.util.concurrent.locks 包下面。 AQS 是一个用来构建锁和同步器…
阅读更多...
开启智能时代：深度解析智能文档分析技术的前沿与应用

开启智能时代：深度解析智能文档分析技术的前沿与应用

开启智能时代：深度解析智能文档分析技术的前沿与应用 本章主要介绍文档分析技术的理论知识，包括背景介绍、算法分类和对应思路。通过本文学习，你可以掌握：1. 版面分析的分类和典型思想 2. 表格识别的分类和典型思想 3. 信息提取的…
阅读更多...
SpringMVC概述与简单使用

SpringMVC概述与简单使用

1.SpringMVC简介 SpringMVC也叫做Spring web mvc,是 Spring 框架的一部分，是在 Spring3.0 后发布的。 2.SpringMVC优点 1.基于 MVC 架构 基于 MVC 架构，功能分工明确。解耦合， 2.容易理解，上手快；使用简单。 就可以…
阅读更多...
1.9 动态解密ShellCode反弹

1.9 动态解密ShellCode反弹

动态解密执行技术可以对抗杀软的磁盘特征查杀。其原理是将程序代码段中的代码进行加密，然后将加密后的代码回写到原始位置。当程序运行时，将动态解密加密代码，并将解密后的代码回写到原始位置，从而实现内存加载。这种技术可以有效…
阅读更多...
WMS中Binder案例

WMS中Binder案例

WMS中Binder案例 1、FWK层中AIDL形式1.1 服务端实现Stub1.2 客户端获取proxy 2、紧密相关SurfaceFlinger android12-release 1、FWK层中AIDL形式 Android 接口定义语言 (AIDL)、Android 应用层 到 HAL 层 AIDL形式是Android中binder机制的具体实现。按照规范aidl/hidl文件自动生…
阅读更多...
keras深度学习框架通过卷积神经网络cnn实现手写数字识别

keras深度学习框架通过卷积神经网络cnn实现手写数字识别

昨天通过keras构建简单神经网络实现手写数字识别，结果在最后进行我们自己的手写数字识别的时候，准确率堪忧，只有60%。今天通过卷积神经网络来实现手写数字识别。 构建卷积神经网络和简单神经网络思路类似，只不过这里加入了卷积、池…
阅读更多...
JavaWeb 速通Ajax

JavaWeb 速通Ajax

目录 一、Ajax快速入门 1.基本介绍 : 2.使用原理 : 二、Ajax经典入门案例 1.需求 : 2.前端页面实现 : 3. 处理HTTP请求的servlet实现 4.引入jar包及druid配置文件、工具类 : 5.Domain层实现 : 6.DAO层实现 : 7.Service层实现 : 8.运行测试 : 三、JQuery操作Ajax 1 …
阅读更多...
Android studio实现圆形进度条

Android studio实现圆形进度条

参考博客 效果图 MainActivity import androidx.appcompat.app.AppCompatActivity; import android.graphics.Color; import android.os.Bundle; import android.widget.TextView;import java.util.Timer; import java.util.TimerTask;public class MainActivity extends App…
阅读更多...
OpenCV之filter2D函数

OpenCV之filter2D函数

函数原型： CV_EXPORTS_W void filter2D(InputArray src,OutputArray dst,int ddepth,InputArray kernel,Point anchorPoint(-1,-1),double delta0,int borderTypeBORDER_DEFAULT); src: 原图像； dst：输出图像 ，和输入的图像具有…
阅读更多...
Android RecyclerView 之 吸顶效果

Android RecyclerView 之 吸顶效果

前言 上一篇文章已经实现了列表跟宫格布局的动态切换，这篇文章主要来说通过 CoordinatorLayout 和 AppbarLayout 的配合，以及 NestedScrollView 来实现吸顶效果 。效果如下。 一、CoordinatorLayout 是什么？ CoordinatorLayout 是 Androi…
阅读更多...
javaee之黑马乐优商城1

javaee之黑马乐优商城1

问题1：整体的项目架构与技术选型 技术选型 开发环境 域名测试 如何把项目起来，以及每一个目录结构大概是什么样子 通过webpack去启动了有个项目，这里还是热部署，文件改动，内容就会改动 Dev这个命令会生成一个本地循环…
阅读更多...
Metasploit“MSF”连接postgresql时因排序规则版本不匹配导致无法连接

Metasploit“MSF”连接postgresql时因排序规则版本不匹配导致无法连接

一、问题 更新Kali之后使用Metasploit时出现一个问题，连接postgresql时因排序规则版本不匹配导致无法连接 警告: database "msf" has a collation version mismatch DETAIL: The database was created using collation version 2.36, but the operati…
阅读更多...
Web_单一视频文件mp4转换为m3u分段ts文件实现边下边播

Web_单一视频文件mp4转换为m3u分段ts文件实现边下边播

一、下载ffmpeg： Builds - CODEX FFMPEG @ gyan.dev 二、转换视频文件： 先解压缩，会看到如下结构： 进入bin目录，把需要转换的视频文件复制过来，同时新建一个文件夹用来存放转换后的文件，然后按住Shift键同时单击鼠标右键，选择打开Powershell窗口： 输入以下命令（根据…
阅读更多...
干货！耽误你1分钟，教你怎么查自己的流量卡是什么卡？

干货！耽误你1分钟，教你怎么查自己的流量卡是什么卡？

很多朋友都想购买一张正规的号卡，但是在网上一搜流量卡，五花八门，各式各样，那么，我们该如何辨别流量卡呢。 ​ 从种类上来看，网上的流量卡一共分为两种：号卡和物联卡 物联卡不用多说&#xff0…
阅读更多...
无涯教程-Android - Linear Layout函数

无涯教程-Android - Linear Layout函数

Android LinearLayout是一个视图组，该视图组将垂直或水平的所有子级对齐。 Linear Layout - 属性 以下是LinearLayout特有的重要属性- Sr.NoAttribute & 描述1 android:id 这是唯一标识布局的ID。 2 android:baselineAligned 此值必须是布尔值，为…
阅读更多...
【OpenCV入门】第三部分——绘制图形与文字

【OpenCV入门】第三部分——绘制图形与文字

文章结构 线段的绘制矩形的绘制圆形的绘制多边形的绘制文字的绘制文字的斜体效果文字的垂直镜像效果在图像上绘制文字 动态绘制图形 线段的绘制 使用 line() 方法可绘制长短不一的、粗细各异的、五颜六色的线段。 img cv2.line(img,pt1,pt2,color,thickness)img：…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023