ElasticSearch - Bucket Selector使用指南

文章目录

  • 官方文档
  • Bucket Selector
    • 1. 定义
    • 2. 工作原理
    • 3. 使用场景与示例
      • 使用场景
        • 官方案例
        • 示例2
    • 4. 注意事项
    • 5. 总结

在这里插入图片描述

官方文档

https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations.html

在这里插入图片描述

在这里插入图片描述

Bucket Selector

https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations-pipeline-bucket-selector-aggregation.html

在这里插入图片描述在这里插入图片描述
在这里插入图片描述

1. 定义

bucket_selector 是 ElasticSearch 中的一种聚合管道（Pipeline Aggregation），用于对已生成的聚合桶（bucket）进行后处理。它允许根据聚合结果动态过滤和选择桶，从而帮助用户更精确地控制查询结果。

2. 工作原理

  • 输入：bucket_selector 接受一个或多个聚合桶作为输入。
  • 脚本：通过脚本计算每个桶的条件，例如根据聚合值判断是否保留该桶。
  • 输出：返回符合条件的桶，其余的桶将被过滤掉。
  1. buckets_path：用于指定脚本中的变量和对应的聚合路径。例如，可以定义一个路径映射，将某个子聚合的结果（如总和或计数）传递给变量。
  2. script：通过脚本来判断某个桶是否保留。脚本语言通常为Painless，脚本必须返回一个布尔值，true表示保留该桶，false表示过滤掉

3. 使用场景与示例

使用场景

  • 当需要根据聚合的统计数据来决定显示哪些结果时。
  • 可以在进行多层聚合时，优化最终返回的桶。
官方案例

以下是一个实际应用：假设想筛选出每月销售额超过200的结果。可以使用如下DSL查询：


PUT /sales
{"mappings": {"properties": {"date": {"type": "date"},"price": {"type": "double"}}}
}POST /sales/_bulk
{ "index": { "_id": "1" } }
{ "date": "2023-01-01", "price": 100.0 }
{ "index": { "_id": "2" } }
{ "date": "2023-01-15", "price": 150.0 }
{ "index": { "_id": "3" } }
{ "date": "2023-02-01", "price": 300.0 }
{ "index": { "_id": "4" } }
{ "date": "2023-02-10", "price": 50.0 }
{ "index": { "_id": "5" } }
{ "date": "2023-03-01", "price": 400.0 }
{ "index": { "_id": "6" } }
{ "date": "2023-03-15", "price": 250.0 }
{ "index": { "_id": "7" } }
{ "date": "2023-04-01", "price": 350.0 }
{ "index": { "_id": "8" } }
{ "date": "2023-04-10", "price": 200.0 }
{ "index": { "_id": "9" } }
{ "date": "2023-05-01", "price": 500.0 }
{ "index": { "_id": "10" } }
{ "date": "2023-05-15", "price": 300.0 }POST /sales/_search
{"size": 0,"aggs": {"sales_per_month": {"date_histogram": {"field": "date","calendar_interval": "month"},"aggs": {"total_sales": {"sum": {"field": "price"}},"sales_bucket_filter": {"bucket_selector": {"buckets_path": {"totalSales": "total_sales"},"script": "params.totalSales > 600"}}}}}
}

这个DSL是一个用于Elasticsearch的聚合查询，目的是统计每个月的销售总额，并筛选出销售总额超过600的月份。下

  1. size: 0
  • 作用：表示在查询结果中不返回文档本身，只返回聚合结果。这通常用于只关心聚合结果而不需要实际数据时。
  1. aggs
  • 作用：定义聚合操作的容器。这里的聚合是为了对销售数据进行统计。
  1. sales_per_month
  • 类型：date_histogram
    • 功能：将数据按照时间段（这里是月份）进行分组。
    • 参数：
      • field: 指定用于分组的日期字段，这里是 date。
      • calendar_interval: 设置时间间隔，这里是按月进行分组。
  1. total_sales
  • 类型：sum
    • 功能：对每个月的销售额进行求和。
    • 参数：
      • field: 指定需要求和的字段，这里是 price。每个月的销售总额将被计算并存储在这个聚合中。
  1. sales_bucket_filter
  • 类型：bucket_selector
    • 功能：用于根据特定条件过滤桶（即月份）。
    • 参数：
      • buckets_path: 定义如何访问其他聚合的结果，这里指定了 totalSales 对应于 total_sales 聚合。
      • script: 使用Painless脚本来判断是否保留桶。这里的条件是 params.totalSales > 600，这意味着只有当某个月的总销售额超过600时，该月份的桶才会被保留。

总结

这个DSL的整体作用是：

  • 按月份对销售数据进行分组。
  • 计算每个月的销售总额。
  • 只保留销售总额超过600的月份结果。

最终，这将返回一个包含销售额超过600的月份的聚合结果，方便进行数据分析。
在这里插入图片描述

示例2

假设有一个日志索引，包含用户活动的文档，我们想要按用户分组并计算每个用户的活动次数，但只希望返回活动次数超过10的用户。

 
PUT /user_activity
{"mappings": {"properties": {"user_id": {"type": "keyword"},"activity": {"type": "keyword"},"timestamp": {"type": "date"}}}
}POST /user_activity/_bulk
{ "index": { "_id": "1" } }
{ "user_id": "user1", "activity": "login", "timestamp": "2024-10-01T10:00:00Z" }
{ "index": { "_id": "2" } }
{ "user_id": "user1", "activity": "view_page", "timestamp": "2024-10-01T10:05:00Z" }
{ "index": { "_id": "3" } }
{ "user_id": "user1", "activity": "logout", "timestamp": "2024-10-01T10:10:00Z" }
{ "index": { "_id": "4" } }
{ "user_id": "user1", "activity": "login", "timestamp": "2024-10-01T11:00:00Z" }
{ "index": { "_id": "5" } }
{ "user_id": "user1", "activity": "view_page", "timestamp": "2024-10-01T11:05:00Z" }
{ "index": { "_id": "6" } }
{ "user_id": "user1", "activity": "logout", "timestamp": "2024-10-01T11:10:00Z" }
{ "index": { "_id": "7" } }
{ "user_id": "user2", "activity": "login", "timestamp": "2024-10-01T12:00:00Z" }
{ "index": { "_id": "8" } }
{ "user_id": "user2", "activity": "upload_file", "timestamp": "2024-10-01T12:15:00Z" }
{ "index": { "_id": "9" } }
{ "user_id": "user3", "activity": "logout", "timestamp": "2024-10-01T12:30:00Z" }
{ "index": { "_id": "10" } }
{ "user_id": "user4", "activity": "login", "timestamp": "2024-10-01T13:00:00Z" }
{ "index": { "_id": "11" } }
{ "user_id": "user4", "activity": "logout", "timestamp": "2024-10-01T13:05:00Z" }
{ "index": { "_id": "12" } }
{ "user_id": "user5", "activity": "login", "timestamp": "2024-10-01T14:00:00Z" }
{ "index": { "_id": "13" } }
{ "user_id": "user5", "activity": "view_page", "timestamp": "2024-10-01T14:10:00Z" }
{ "index": { "_id": "14" } }
{ "user_id": "user5", "activity": "logout", "timestamp": "2024-10-01T14:15:00Z" }
{ "index": { "_id": "15" } }
{ "user_id": "user6", "activity": "login", "timestamp": "2024-10-01T15:00:00Z" }
{ "index": { "_id": "16" } }
{ "user_id": "user6", "activity": "view_page", "timestamp": "2024-10-01T15:05:00Z" }
{ "index": { "_id": "17" } }
{ "user_id": "user6", "activity": "logout", "timestamp": "2024-10-01T15:10:00Z" }
{ "index": { "_id": "18" } }
{ "user_id": "user7", "activity": "login", "timestamp": "2024-10-01T16:00:00Z" }
{ "index": { "_id": "19" } }
{ "user_id": "user7", "activity": "upload_file", "timestamp": "2024-10-01T16:05:00Z" }
{ "index": { "_id": "20" } }
{ "user_id": "user7", "activity": "logout", "timestamp": "2024-10-01T16:10:00Z" }
{ "index": { "_id": "21" } }
{ "user_id": "user8", "activity": "login", "timestamp": "2024-10-01T17:00:00Z" }
{ "index": { "_id": "22" } }
{ "user_id": "user8", "activity": "view_page", "timestamp": "2024-10-01T17:05:00Z" }
{ "index": { "_id": "23" } }
{ "user_id": "user8", "activity": "logout", "timestamp": "2024-10-01T17:10:00Z" }
{ "index": { "_id": "24" } }
{ "user_id": "user9", "activity": "login", "timestamp": "2024-10-01T18:00:00Z" }
{ "index": { "_id": "25" } }
{ "user_id": "user9", "activity": "view_page", "timestamp": "2024-10-01T18:05:00Z" }
{ "index": { "_id": "26" } }
{ "user_id": "user9", "activity": "logout", "timestamp": "2024-10-01T18:10:00Z" }
{ "index": { "_id": "27" } }
{ "user_id": "user10", "activity": "login", "timestamp": "2024-10-01T19:00:00Z" }
{ "index": { "_id": "28" } }
{ "user_id": "user10", "activity": "view_page", "timestamp": "2024-10-01T19:05:00Z" }
{ "index": { "_id": "29" } }
{ "user_id": "user10", "activity": "logout", "timestamp": "2024-10-01T19:10:00Z" }
{ "index": { "_id": "30" } }
{ "user_id": "user11", "activity": "login", "timestamp": "2024-10-01T20:00:00Z" }
{ "index": { "_id": "31" } }
{ "user_id": "user11", "activity": "view_page", "timestamp": "2024-10-01T20:05:00Z" }
{ "index": { "_id": "32" } }
{ "user_id": "user11", "activity": "logout", "timestamp": "2024-10-01T20:10:00Z" }
{ "index": { "_id": "33" } }
{ "user_id": "user12", "activity": "login", "timestamp": "2024-10-01T21:00:00Z" }
{ "index": { "_id": "34" } }
{ "user_id": "user12", "activity": "upload_file", "timestamp": "2024-10-01T21:05:00Z" }
{ "index": { "_id": "35" } }
{ "user_id": "user12", "activity": "logout", "timestamp": "2024-10-01T21:10:00Z" }
{ "index": { "_id": "36" } }
{ "user_id": "user13", "activity": "login", "timestamp": "2024-10-01T22:00:00Z" }
{ "index": { "_id": "37" } }
{ "user_id": "user13", "activity": "view_page", "timestamp": "2024-10-01T22:05:00Z" }
{ "index": { "_id": "38" } }
{ "user_id": "user13", "activity": "logout", "timestamp": "2024-10-01T22:10:00Z" }
{ "index": { "_id": "39" } }
{ "user_id": "user14", "activity": "login", "timestamp": "2024-10-01T23:00:00Z" }
{ "index": { "_id": "40" } }
{ "user_id": "user14", "activity": "view_page", "timestamp": "2024-10-01T23:05:00Z" }
{ "index": { "_id": "41" } }
{ "user_id": "user14", "activity": "logout", "timestamp": "2024-10-01T23:10:00Z" }
{ "index": { "_id": "42" } }
{ "user_id": "user15", "activity": "login", "timestamp": "2024-10-02T00:00:00Z" }
{ "index": { "_id": "43" } }
{ "user_id": "user15", "activity": "upload_file", "timestamp": "2024-10-02T00:05:00Z" }
{ "index": { "_id": "44" } }
{ "user_id": "user15", "activity": "logout", "timestamp": "2024-10-02T00:10:00Z" }
{ "index": { "_id": "45" } }
{ "user_id": "user16", "activity": "login", "timestamp": "2024-10-02T01:00:00Z" }
{ "index": { "_id": "46" } }
{ "user_id": "user16", "activity": "view_page", "timestamp": "2024-10-02T01:05:00Z" }
{ "index": { "_id": "47" } }
{ "user_id": "user16", "activity": "logout", "timestamp": "2024-10-02T01:10:00Z" }
{ "index": { "_id": "48" } }
{ "user_id": "user17", "activity": "login", "timestamp": "2024-10-02T02:00:00Z" }
{ "index": { "_id": "49" } }
{ "user_id": "user17", "activity": "upload_file", "timestamp": "2024-10-02T02:05:00Z" }
{ "index": { "_id": "50" } }
{ "user_id": "user17", "activity": "logout", "timestamp": "2024-10-02T02:10:00Z" }POST /user_activity/_search
{"size": 0,"aggs": {"users": {"terms": {"field": "user_id"},"aggs": {"activity_count": {"value_count": {"field": "activity"}},"filtered_users": {"bucket_selector": {"buckets_path": {"count": "activity_count"},"script": "params.count > 5"}}}}}
}
  1. 总体结构
  • 请求类型：POST /user_activity/_search 这表示我们正在对 user_activity 索引执行搜索请求。
  • size：设置为 0，表示不返回文档，仅返回聚合结果。
  1. 聚合部分 (aggs)
  • users：这是一个聚合的名称，用于聚合结果的分组。
    • terms：这是一个聚合类型，表示我们希望按 user_id 字段对文档进行分组。每个不同的 user_id 将生成一个桶。
  1. 嵌套聚合

  • activity_count：

    • value_count：这是另一个聚合，计算每个用户桶中 activity 字段的文档数量。换句话说，它统计每个用户的活动次数。

  • filtered_users：

    • bucket_selector：这是一个聚合管道，允许对已生成的桶进行后处理。
    • buckets_path：这是一个路径定义，指定了输入到 bucket_selector 的聚合结果。在这里，count 被定义为指向 activity_count 聚合的结果。
    • script：这是一个条件语句，用于筛选桶。在这里，脚本判断活动次数是否大于5。只有符合这个条件的用户桶才会被保留。

总结

该DSL的主要功能是：

  1. 按 user_id 聚合用户活动数据。
  2. 计算每个用户的活动数量。
  3. 仅筛选出活动次数大于5的用户。
    在这里插入图片描述

4. 注意事项

  • 由于bucket_selector是在所有聚合完成后执行的，它不能减少执行时间。
  • 在一些复杂场景中（如使用cardinality聚合），需要确保将bucket_selector放置在正确的父级聚合中，否则会出现不兼容的错误

5. 总结

bucket_selector 是 ElasticSearch 中用于后处理聚合桶的强大工具，可以根据聚合计算的结果动态地筛选出感兴趣的桶。它在数据分析和可视化中非常有用，可以帮助用户精准控制查询结果。

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/463334.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

RHCE——笔记

RHCE——笔记

Web服务器 1，web服务器简介 （1）什么是www 是全球信息广播的意思。通常说的上网就是使用 www 来查询用户 所需要的信息。 www 可以结合文字、图形、影像以及声音等多媒体，并通过可以让鼠标单击超链接的方式将信息以Internet 传递…
阅读更多...
Unity XR Interaction Toolkit 开发教程（1）：OpenXR 与 XRI 概述【3.0 以上版本】

Unity XR Interaction Toolkit 开发教程（1）：OpenXR 与 XRI 概述【3.0 以上版本】

文章目录 📕Unity XR 开发架构🔍底层插件（对接硬件）🔍高层 SDK（面向应用交互层） 📕OpenXR📕XR Interaction Toolkit🔍特点🔍XRI 能够实现的交互类…
阅读更多...
HarmonyOS：@Watch装饰器：状态变量更改通知

HarmonyOS：@Watch装饰器：状态变量更改通知

Watch应用于对状态变量的监听。如果开发者需要关注某个状态变量的值是否改变，可以使用Watch为状态变量设置回调函数。 说明 从API version 9开始，该装饰器支持在ArkTS卡片中使用。 从API version 11开始，该装饰器支持在元服务中使用。 一、概…
阅读更多...
AIGC对传统内容创作行业的冲击

AIGC对传统内容创作行业的冲击

文章目录 引言一、AIGC的概念1.1 AIGC的工作原理 二、AIGC对内容创作行业的影响2.1 提高创作效率2.2 降低创作门槛2.3 改变内容创作的形式 三、AIGC带来的挑战3.1 版权和道德问题3.2 内容质量的参差不齐3.3 人类创作者的角色变化 四、AIGC的应用场景4.1 新闻行业4.2 市场营销4.…
阅读更多...
Linux 下执行定时任务之 Systemd Timers

Linux 下执行定时任务之 Systemd Timers

不知道 ECS 因为什么缘故，上面安装的 MySQL 服务老是不定期挂掉，本来想通过 Linux 得 Cron 配置个半小时的定时检测任务，结果一直没有执行，因此又尝试使用了 Systemd Timers 进行了重新配置，简要做个记录。 Systemd Ti…
阅读更多...
Java已死，大模型才是未来？

Java已死，大模型才是未来？

作者：不惑_ 引言 在数字技术的浪潮中，编程语言始终扮演着至关重要的角色。Java，自1995年诞生以来，便以其跨平台的特性和丰富的生态系统，成为了全球范围内开发者们最为青睐的编程语言之一 然而，随着技术的…
阅读更多...
C语言第10节：详解操作符

C语言第10节：详解操作符

1. 运算符的分类 运算符是C语言中的基本组成部分，用于执行各种操作。以下是常见运算符的详细分类： 1.1. 算术操作符 这些用于执行基本的数学运算： ：加法- ：减法* ：乘法/ ：除法% ：…
阅读更多...
Python实现全国岗位招聘信息可视化分析（源码+论文+部署讲解）

Python实现全国岗位招聘信息可视化分析（源码+论文+部署讲解）

项目源码&数据源获取 利用Python实现全国岗位招聘信息可视化分析 项目背景： 1.为企业招聘决策提供科学的依据和参考，可以帮助人力资源部门、招聘机构和求职者了解当前的就业形势、行业趋势和人才需求，从而做出更明智的招聘和求职决策。…
阅读更多...
群控系统服务端开发模式-应用开发-本地上传工厂及阿里云上传工厂开发

群控系统服务端开发模式-应用开发-本地上传工厂及阿里云上传工厂开发

记住业务流程图&#xff0c;要不然不清楚自己封装的是什么东西。 一、本地工厂开发 在根目录下extend文件夹下Upload文件夹下channel文件夹中&#xff0c;我们修改LocalUpload业务控制器。具体代码如下&#xff1a; <?php /*** 本地上传工厂* User: 龙哥 三年风水* Date: …
阅读更多...
智能座舱相关术语全解及多模态交互在智能座舱中的应用

智能座舱相关术语全解及多模态交互在智能座舱中的应用

文章目录 座舱相关术语全解1. 智能座舱2. UFS3. 多模态交互4. 3D虚拟引擎5. AR/VR6. GNSS7. TTS8. DPU9. 摄像头10. 屏幕/显示器11. 音频12. 无线连接13. 其他组件 多模态交互在智能座舱中有以下一些应用 座舱相关术语全解 1. 智能座舱 智能座舱&#xff08;intelligent cabi…
阅读更多...
Linux中SPI

Linux中SPI

参考资料 https://www.cnblogs.com/aaronLinux/p/6219146.html1.SPI 2.SPI传输 2.1传输示例 首先&#xff0c;CS0拉低选中的SPI Flash , 然后在每个时钟周期&#xff0c; DO输出对应的电平。 SPI FLASH会在每个时钟的上升沿读取D0的电平。2.2SPI模式 根据SCK的电平以及数据在…
阅读更多...
基于SSM+小程序的计算机实验室排课与查询管理系统（实验室2）

基于SSM+小程序的计算机实验室排课与查询管理系统（实验室2）

&#x1f449;文末查看项目功能视频演示获取源码sql脚本视频导入教程视频 1、项目介绍 1、管理员功能有个人中心&#xff0c;学生管理&#xff0c;教师管理&#xff0c;实验室信息管理&#xff0c;实验室预约管理&#xff0c;取消预约管理&#xff0c;实验课程管理&#xff0…
阅读更多...
Netty核心源码与优化

Netty核心源码与优化

1.Netty的优化 1.1 使用EventLoop的任务调度 直接使用 channel.writeAndFlush(data) 可能会导致线程切换&#xff0c;这是因为如果当前线程并不是该 Channel 所绑定的 EventLoop 线程&#xff0c;那么 writeAndFlush() 操作会将任务重新提交给关联的 EventLoop 线程执行&#…
阅读更多...
selinux介绍和Linux中的防火墙

selinux介绍和Linux中的防火墙

selinux 1、selinux的说明 2、selinux的工作原理 3、selinux的启动、关闭与查看 防火墙 1、什么是防火墙 2、iptables &#xff08;1&#xff09;iptables介绍 参数说明 3、firewalld firewalld-cmd的参数说明
阅读更多...
JavaScript。—关于语法基础的理解—

JavaScript。—关于语法基础的理解—

一、程序控制语句 JavaScript 提供了 if 、if else 和 switch 3种条件语句&#xff0c;条件语句也可以嵌套。 &#xff08;一&#xff09;、条件语句 1、单向判断 &#xff1a; if... &#xff08;1&#xff09;概述 < if >元素用于在判断该语句是否满足特定条…
阅读更多...
yarn 下载安装、下载依赖、通过 vscode 运行服务（Windows11）

yarn 下载安装、下载依赖、通过 vscode 运行服务（Windows11）

目录 yarn工具前置要求&#xff1a;安装node.js并配置好国内镜像源下载安装下载依赖特别的&#xff1a; 启动服务 yarn 工具 系统&#xff1a;Windows 11 前置要求&#xff1a;安装node.js并配置好国内镜像源 参考&#xff1a;本人写的《node.js下载、安装、设置国内镜像源…
阅读更多...
SQL，力扣题目1596，每位顾客最经常订购的商品【窗口函数】

SQL，力扣题目1596，每位顾客最经常订购的商品【窗口函数】

一、力扣链接 LeetCode_1596 二、题目描述 表&#xff1a;Customers ------------------------ | Column Name | Type | ------------------------ | customer_id | int | | name | varchar | ------------------------ customer_id 是该表具有唯一值的…
阅读更多...
2025上海市公务员考试报名流程详细教程

2025上海市公务员考试报名流程详细教程

2025年上海市公务员考试报名马上就要开始了&#xff0c;有想要参加上海公务员考试的姐妹们&#xff0c;可以提前了解一下考试报名流程&#xff0c;和报名照制作尺寸要求 报名时间&#xff1a;11月2日0:00至11月8日12:00 南核时间&#xff1a;11月2日0:00至11月8日14:00 缴费…
阅读更多...
【云原生】Docker搭建开源翻译组件Deepl使用详解

【云原生】Docker搭建开源翻译组件Deepl使用详解

目录 一、前言 二、微服务项目使用翻译组件的场景 2.1 多语言用户界面 2.2 业务逻辑中的翻译需求 2.3 满足实时通信的要求 2.4 内容管理系统 2.5 个性化推荐系统 2.6 日志和监控 三、开源类翻译组件解决方案 3.1 国内翻译组件方案汇总 3.1.1 百度翻译 3.1.2 腾讯翻…
阅读更多...
数据库原理上机实验4（数据更新实验）{insert；update；delete；is null的使用}

数据库原理上机实验4（数据更新实验）{insert；update；delete；is null的使用}

本次实验用到的一些基本关键字 1、insert into 插入数据 INSERT INTO 语句可以有两种编写形式。 第一种形式无需指定要插入数据的列名&#xff0c;只需提供被插入的值即可&#xff1a; INSERT INTO table_name VALUES (value1,value2,value3,...); 第二种形式需要指定列名…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023