Elasticsearch从入门到精通-06ES统计分析语法

Elasticsearch从入门到精通-06ES统计分析语法

bucket和metric概念简介

bucket就是一个聚合搜索时的数据分组。如：销售部门有员工张三和李四，开发部门有员工王五和赵六。那么根据部门分组聚合得到结果就是两个bucket。销售部门bucket中有张三和李四，开发部门 bucket中有王五和赵六。metric就是对一个bucket数据执行的统计分析。如上述案例中，开发部门有2个员工，销售部门有2个员工，这就是metric。metric有多种统计，如：求和，最大值，最小值，平均值等。

用一个大家容易理解的SQL语法来解释，如：select count() from table group by column。那么group by column分组后的每组数据就是bucket。对每个分组执行的count()就是metric。

数据准备:

PUT /cars
{"mappings": {"properties": {"price": {"type": "long"},"color": {"type": "keyword"},"brand": {"type": "keyword"},"model": {"type": "keyword"},"sold_date": {"type": "date"},"remark": {"type": "text","analyzer": "ik_max_word"}}}
}
POST /cars/_bulk
{"index":{}}
{"price":258000,"color":"金色","brand":"大众","model":"大众迈腾","sold_date":"2021-10-28","remark":"大众中档车"}
{"index":{}}
{"price":123000,"color":"金色","brand":"大众","model":"大众速腾","sold_date":"2021-11-05","remark":"大众神车"}
{"index":{}}
{"price":239800,"color":"白色","brand":"标志","model":"标志508","sold_date":"2021-05-18","remark":"标志品牌全球上市车型"}
{"index":{}}
{"price":148800,"color":"白色","brand":"标志","model":"标志408","sold_date":"2021-07-02","remark":"比较大的紧凑型车"}
{"index":{}}
{"price":1998000,"color":"黑色","brand":"大众","model":"大众辉腾","sold_date":"2021-08-19","remark":"大众最让人肝疼的车"}
{"index":{}}
{"price":218000,"color":"红色","brand":"奥迪","model":"奥迪A4","sold_date":"2021-11-05","remark":"小资车型"}
{"index":{}}
{"price":489000,"color":"黑色","brand":"奥迪","model":"奥迪A6","sold_date":"2022-01-01","remark":"政府专用？"}
{"index":{}}
{"price":1899000,"color":"黑色","brand":"奥迪","model":"奥迪A 8","sold_date":"2022-02-12","remark":"很贵的大A6。。。"}

案例1:根据color分组统计销售数量

只执行聚合分组，不做复杂的聚合统计。在ES中最基础的聚合为terms，相当于SQL中的count。在ES中默认为分组数据做排序，使用的是doc_count数据执行降序排列。可以使用_key元数据，根据分组后的字段数据执行不同的排序方案，也可以根据_count元数据，根据分组后的统计值执行不同的排序方案。

size：0 代表不显示元数据,只显示聚合结果

GET /cars/_search
{"size":0, //只显示聚合结果"aggs": {"group_by_color": {"terms": {"field": "color","order": {"_count": "desc"}}}}
}

image-20240317202152825

案例2:统计不同颜色车辆的平均价格

本案例先根据color执行聚合分组，在此分组的基础上，对组内数据执行聚合统计，这个组内数据的聚合统计就是metric。同样可以执行排序，因为组内有聚合统计，且对统计数据给予了命名avg_by_price，所以可以根据这个聚合统计数据字段名执行排序逻辑。

GET /cars/_search
{"size":0,"aggs": {"group_by_color": {"terms": {"field": "color","order": {"avg_by_price": "asc"}},"aggs": {"avg_by_price": {"avg": {"field": "price"}}}}}
}

image-20240317202616204

案例3:统计不同color不同brand中车辆的平均价格

先根据color聚合分组，在组内根据brand再次聚合分组，这种操作可以称为下钻分析。Aggs如果定义比较多，则会感觉语法格式混乱，aggs语法格式，有一个相对固定的结构，简单定义：aggs可以嵌套定义，可以水平定义。嵌套定义称为下钻分析。水平定义就是平铺多个分组方式。

GET /cars/_search
{"size":0,"aggs": {"group_by_color": {"terms": {"field": "color","order": {"avg_by_price_color": "asc"}},"aggs": {"avg_by_price_color": {"avg": {"field": "price"}},"group_by_brand": {"terms": {"field": "brand","order": {"avg_by_price_brand": "desc"}},"aggs": {"avg_by_price_brand": {"avg": {"field": "price"}}}}}}}
}

image-20240317202737867

案例4:统计不同color中的最大和最小价格、总价

GET /cars/_search
{ "size":0,"aggs": {"group_by_color": {"terms": {"field": "color"},"aggs": {"max_price": {"max": {"field": "price"}},"min_price": {"min": {"field": "price"}},"sum_price": {"sum": {"field": "price"}}}}}
}

image-20240317202917798

在常见的业务常见中，聚合分析，最常用的种类就是统计数量，最大，最小，平均，总计等。通常占有聚合业务中的60%以上的比例，小型项目中，甚至占比85%以上。

案例5:统计不同品牌汽车中价格排名最高的车型

在分组后，可能需要对组内的数据进行排序，并选择其中排名高的数据。那么可以使用size来实现：top_hits中的属性size代表取组内多少条数据（默认为10）；sort代表组内使用什么字段什么规则排序（默认使用_doc的asc规则排序）；_source代表结果中包含document中的那些字段（默认包含全部字段）。

GET cars/_search
{"size": 0,"aggs": {"group_by_brand": {"terms": {"field": "brand"},"aggs": {"top_car": {"top_hits": {"size": 1,"sort": [{"price": {"order": "desc"}}],"_source": {"includes": ["model","price"]}}}}}}
}

image-20240317203105614

案例6:histogram区间统计

histogram类似terms，也是进行bucket分组操作的，是根据一个field，实现数据区间分组。如：以100万为一个范围，统计不同范围内车辆的销售量和平均价格。那么使用histogram的聚合的时候，field指定价格字段price。区间范围是100万，这个时候ES会将price价格区间划分为： [0, 1000000), [1000000, 2000000), [2000000, 3000000)等，依次类推。在划分区间的同时，histogram会类似terms进行数据数量的统计（count），可以通过嵌套aggs对聚合分组后的组内数据做再次聚合分析。

GET /cars/_search
{"size": 0, "aggs": {"histogram_by_price": {"histogram": {"field": "price","interval": 1000000},"aggs": {"avg_by_price": {"avg": {"field": "price"}}}}}
}

image-20240317203351234

案例7:date_histogram区间分组

date_histogram可以对date类型的field执行区间聚合分组，如每月销量，每年销量等。如：以月为单位，统计不同月份汽车的销售数量及销售总金额。这个时候可以使用date_histogram实现聚合分组，其中field来指定用于聚合分组的字段，interval指定区间范围（可选值有：year、quarter、month、week、day、hour、minute、second），format指定日期格式化，min_doc_count指定每个区间的最少document（如果不指定，默认为0，当区间范围内没有document时，也会显示bucket分组），extended_bounds指定起始时间和结束时间（如果不指定，默认使用字段中日期最小值所在范围和最大值所在范围为起始和结束时间）。

GET /cars/_search
{"size": 0,"aggs": {"histogram_by_date": {"date_histogram": {"field": "sold_date","calendar_interval": "month","format": "yyyy-MM-dd","min_doc_count": 1,"extended_bounds": {"min": "2021-01-01","max": "2022-12-31"}},"aggs": {"sum_by_price": {"sum": {"field": "price"}}}}}
}

image-20240317203535190

案例8:_global bucket

在聚合统计数据的时候，有些时候需要对比部分数据和总体数据。如：统计某品牌车辆平均价格和所有车辆平均价格。global是用于定义一个全局bucket，这个bucket会忽略query的条件，检索所有document进行对应的聚合统计。

GET /cars/_search
{"size": 0,"query": {"match": {"brand": "大众"}},"aggs": {"volkswagen_of_avg_price": {"avg": {"field": "price"}},"all_avg_price": {"global": {},"aggs": {"all_of_price": {"avg": {"field": "price"}}}}}
}

image-20240317203720921

案例9:aggs+order

对聚合统计数据进行排序。如：统计每个品牌的汽车销量和销售总额，按照销售总额的降序排列。

GET /cars/_search
{"size": 0, "aggs": {"group_of_brand": {"terms": {"field": "brand","order": {"sum_of_price": "desc"}},"aggs": {"sum_of_price": {"sum": {"field": "price"}}}}}
}

image-20240317203811772

如果有多层aggs，执行下钻聚合的时候，也可以根据最内层聚合数据执行排序。如：统计每个品牌中每种颜色车辆的销售总额，并根据销售总额降序排列。这就像SQL中的分组排序一样，只能组内数据排序，而不能跨组实现排序。

GET /cars/_search
{"size": 0, "aggs": {"group_by_brand": {"terms": {"field": "brand"},"aggs": {"group_by_color": {"terms": {"field": "color","order": {"sum_of_price": "desc"}},"aggs": {"sum_of_price": {"sum": {"field": "price"}}}}}}}
}

image-20240317203926751

案例10:search+aggs

聚合类似SQL中的group by子句，search类似SQL中的where子句。在ES中是完全可以将search和aggregations整合起来，执行相对更复杂的搜索统计。如：统计某品牌车辆每个季度的销量和销售额。

GET /cars/_search
{"query": {"match": {"brand": "大众"}},"aggs": {"histogram_by_date": {"date_histogram": {"field": "sold_date","calendar_interval": "quarter","min_doc_count": 1},"aggs": {"sum_by_price": {"sum": {"field": "price"}}}}}
}

image-20240317204127488

案例11:filter+aggs

在ES中，filter也可以和aggs组合使用，实现相对复杂的过滤聚合分析。如：统计10万~50万之间的车辆的平均价格。

GET /cars/_search
{"size": 0, "query": {"constant_score": {"filter": {"range": {"price": {"gte": 100000,"lte": 500000}}}}},"aggs": {"avg_by_price": {"avg": {"field": "price"}}}
}

image-20240317204424364

案例12:聚合中使用filter

filter也可以使用在aggs句法中，filter的范围决定了其过滤的范围。如：统计某品牌汽车最近一年的销售总额。将filter放在aggs内部，代表这个过滤器只对query搜索得到的结果执行filter过滤。如果filter放在aggs外部，过滤器则会过滤所有的数据。

GET /cars/_search
{"query": {"match": {"brand": "大众"}},"aggs": {"count_last_year": {"filter": {"range": {"sold_date": {"gte": "now-12y"}}},"aggs": {"sum_of_price_last_year": {"sum": {"field": "price"}}}}}
}

ggs内部，代表这个过滤器只对query搜索得到的结果执行filter过滤。如果filter放在aggs外部，过滤器则会过滤所有的数据。

GET /cars/_search
{"query": {"match": {"brand": "大众"}},"aggs": {"count_last_year": {"filter": {"range": {"sold_date": {"gte": "now-12y"}}},"aggs": {"sum_of_price_last_year": {"sum": {"field": "price"}}}}}
}

image-20240317204632360

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/280647.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

RK3399 android10 移植SiS-USB触摸驱动

RK3399 android10 移植SiS-USB触摸驱动

一，SiS USB触摸简介 SiS USB 触摸屏通常是一种外接式触摸屏设备，通过 USB 接口连接到计算机或其他设备上。这种触摸屏设备可以提供触摸输入功能，用户可以通过手指或触控笔在屏幕上进行操作，实现点击、拖动、缩放等操作。 SiS USB…
阅读更多...
ReaLTaiizor开源.NET winform控件库学习使用

ReaLTaiizor开源.NET winform控件库学习使用

一、ReaLTaiizor项目介绍 1.1 介绍及地址 基于MIT license开源、免费、美观的.NET WinForm UI控件库：ReaLTaiizor ReaLTaiizor是一个开源免费的.NET WinForms控件库，它提供了广泛的组件和丰富的主题选项（用户友好、注重设计）&am…
阅读更多...
单片机-- 数电（3）

单片机-- 数电（3）

编码器与译码器 译码 ：将二进制代码转化为其他进制的代码 编码 ：就是将其他代码转换为二进制码 编码器的类型 1二进制编码器 用n位二进制数码对2的n次方个输入信号进行编码的电路 2二-十进制编码器 将0到9十个十进制数转化为二进制代码的电路 2…
阅读更多...
Uibot6.0 (RPA财务机器人师资培训第1天 ）RPA+AI、RPA基础语法

Uibot6.0 (RPA财务机器人师资培训第1天 ）RPA+AI、RPA基础语法

训练网站：泓江科技 (lessonplan.cn)https://laiye.lessonplan.cn/list/ec0f5080-e1de-11ee-a1d8-3f479df4d981(本博客中会有部分课程ppt截屏,如有侵权请及请及时与小北我取得联系~） 紧接着小北之前的几篇博客，友友们我们即将开展新课的学习~…
阅读更多...
绝地求生：七周年活动来袭，小黑盒联名限时返场

绝地求生：七周年活动来袭，小黑盒联名限时返场

就在2024.3.20号下午18点，小黑盒绝地求生板块上线最新活动，活动方法和以往一样采用积分抽奖的方式，通过每日签到，完成任务即可获得相应积分，抽奖需消耗10积分，第一天可以抽8次，后面每一天可以抽…
阅读更多...
【Python + Django】Django模板语法 + 请求和响应

【Python + Django】Django模板语法 + 请求和响应

前言： 现在现在，我们要开始将变量的值展现在页面上面啦！ 要是只会显示静态页面，我们的页面也太难看和死板了， 并且数据库的数据也没法展现在页面上。 但是呢，模板语法学习之后就可以啦！&…
阅读更多...
Midjourney角色一致功能解读

Midjourney角色一致功能解读

在无数AI绘画创作者的胡呼声中，Midjourney终于推出了“角色一致性”功能，该功能可在新图像中一致地重新创建角色。AI绘画中的主要障碍终被打破。 这是因为大多数AI图像生成器都依赖于“扩散模型”，这些工具类似于或基于Stability AI的Stable…
阅读更多...
IDEA中快速配置Git

IDEA中快速配置Git

Git介绍： Git下载 idea中配置Git
阅读更多...
如何使用人工智能打造超用户预期的个性化购物体验

如何使用人工智能打造超用户预期的个性化购物体验

回看我的营销职业生涯，我见证了数字时代如何重塑客户期望。从一刀切的方法过渡到创造高度个性化的购物体验已成为企业的关键。在这个客户期望不断变化的新时代，创造个性化的购物体验不再是奢侈品，而是企业的必需品。人工智能 （AI&…
阅读更多...
面试题 之 react

面试题 之 react

1.说说对react的理解 1️⃣是什么 React是用于构建用户界面的 JavaScript 库,遵循组件设计模式、声明式编程范式和函数式编程概念，更高效使用虚拟 DOM 来有效地操作 DOM ，遵循从高阶组件到低阶组件的单向数据流。 react 类组件使用一个名为 render() 的方…
阅读更多...
【linux】环境基础|开发工具|gcc|yum|vim|gdb|make|git

【linux】环境基础|开发工具|gcc|yum|vim|gdb|make|git

目录 ​编辑 Linux 软件包管理器 yum 软件包: 操作： 拓展：lrzsz简介 Linux开发工具 Linux编辑器-vim使用 vim 的基本概念 命令模式 插入模式 底行模式 vim 命令模式的操作指令 vim 底行模式的操作命令 Linux编译器-gcc/g使用 功能 格…
阅读更多...
SQLiteC/C++接口详细介绍sqlite3_stmt类（二）

SQLiteC/C++接口详细介绍sqlite3_stmt类（二）

返回目录：SQLite—免费开源数据库系列文章目录 上一篇：SQLiteC/C接口详细介绍sqlite3_stmt类简介 下一篇：SQLiteC/C接口详细介绍sqlite3_stmt类（三） sqlite3_reset() 功能：重置一个准备好执行的SQL语…
阅读更多...
Mysql——基础命令集合

Mysql——基础命令集合

目录 前期准备 先登录数据库 一、管理数据库 1.数据表结构解析 2.常用数据类型 3.适用所有类型的修饰符 4.使用数值型的修饰符 二、SQL语句 1.SQL语言分类 三、Mysql——Create,Show,Describe,Drop 1.创建数据库 2.查看数据库 3.切换数据库 4.创建数据表 5.查看…
阅读更多...
Flink RocksDB状态后端优化总结

Flink RocksDB状态后端优化总结

截至当前，Flink 作业的状态后端仍然只有 Memory、FileSystem 和 RocksDB 三种可选，且 RocksDB 是状态数据量较大（GB 到 TB 级别）时的唯一选择。RocksDB 的性能发挥非常仰赖调优，如果全部采用默认配置，读写性…
阅读更多...
风速预测（八）VMD-CNN-Transformer预测模型

风速预测（八）VMD-CNN-Transformer预测模型

往期精彩内容： 时序预测：LSTM、ARIMA、Holt-Winters、SARIMA模型的分析与比较-CSDN博客 风速预测（一）数据集介绍和预处理-CSDN博客 风速预测（二）基于Pytorch的EMD-LSTM模型-CSDN博客 风速预测&#xff…
阅读更多...
Sora后时代文生视频的探索

Sora后时代文生视频的探索

一、写在前面 按常理，这里应该长篇大论地介绍一下Sora发布对各行业各方面产生的影响。不过，这类文章已经很多了，我们今天主要聊聊那些已经成熟的解决方案、那些已经可以“信手拈来”的成果，并以此为基础，看看Sora发布…
阅读更多...
GB28181 —— 5、C++编写GB28181设备端，完成将USB摄像头视频实时转发至GB28181服务并可播放（附源码）

GB28181 —— 5、C++编写GB28181设备端，完成将USB摄像头视频实时转发至GB28181服务并可播放（附源码）

被测试的USB摄像头 效果 源码说明 主要功能模拟设备端，完成注册、注销、心跳等，同时当服务端下发指令播放视频时 设备端实时读取USB摄像头视频并通过OpenCV处理后实时转ps格式后封包rtp进行推送给服务端播放。 源码 /****@remark: pes头的封装,里面的具体数据的填写已经占…
阅读更多...
远程传输大文件的软件 远程文件传输

远程传输大文件的软件 远程文件传输

在数字化时代，随着数据量的急剧增长，远程传输大文件变得越来越重要。无论是企业间的合作，还是个人的日常需求，高效、稳定、安全的远程文件传输都是关键。本文将介绍远程传输大文件的相关软件及其特点，帮助读者选择最适…
阅读更多...
应急响应-Web2

应急响应-Web2

应急响应-Web2 1.攻击者的IP地址（两个）？ 192.168.126.135 192.168.126.129 通过phpstudy查看日志，发现192.168.126.135这个IP一直在404访问 ， 并且在日志的最后几条一直在访问system.php ，从这可以推断 …
阅读更多...
Simulink|局部遮荫下光伏组件多峰值PSO-MPPT控制

Simulink|局部遮荫下光伏组件多峰值PSO-MPPT控制

目录 主要内容 1.光伏电池工程数学模型的输出特性程序 2.普通扰动观察法进行MPPT 3.基于粒子群寻优的多峰输出特性 4.PSO_MPPT仿真模型 下载链接 主要内容 在实际的光伏发电系统中，由于环境多变等因素的影响，当局部出现被遮挡情况时光伏阵列…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023