Kibana操作Elasticsearch教程

文章目录

  • 简介
    • ES文档操作
      • 创建索引
      • 查看索引
      • 创建映射字段
      • 查看映射关系
      • 字段属性详解
        • type
        • index
        • store
      • 字段映射设置流程
    • 新增数据
      • 新增会随机生成id
      • 新增自定义id
      • 智能判断
    • 修改数据
    • 删除数据
    • 查询
      • 基本查询
      • 查询所有(match_all)
      • 匹配查询
      • 多字段查询
      • 词条匹配
      • 多词条精确匹配
    • 结果过滤
      • 直接指定该字段
      • 指定includes和excludes
      • 高级查询
        • 布尔组合(多条件查询)
        • 范围查询
        • 模糊查询(fuzzy)
      • 排序
        • 单字段排序(sort)
        • 多字段查询
      • 聚合(aggregations)
        • 桶(bucket)类似于数据库中的分组group_by

简介

Kibana是一个基于Node.js的Elasticsearch索引库数据统计工具,可以利用Elasticsearch的聚合功能,生成各种图表,如柱形图、线状图、饼图等。
在开始之前,需要启动Kibana和Elasticsearch
ES的访问地址:http://ip:9200
Kibana的访问地址:http://ip:5601
操作步骤:进入到Kibana后,点击左侧的Dev Tools
在这里插入图片描述

ES文档操作

ES是面向文档的,存储文档的同时对其进行索引使其能够被搜索到。

创建索引

Elasticsearch采用Rest API风格,因此其API就是一次HTTP请求,可以使用任何工具发起http请求创建索引的请求格式。由于遵循REST风格,可以很直观的想到操作名。

  • POST新增
  • GET查询
  • DELETE删除
  • PUT修改
    在这里使用Kibana简化操作
    在这里插入图片描述
    number_of_replicas:设置索引库分片副本数量
    number_of_shards: 设置索引库分片数量

查看索引

  1. 查看某一个特定索引库
   GET 索引库名
  1. 查看所有的索引库
 GET *
  1. 删除索引
DELETE 索引库名
  1. 映射配置
    索引有了,接下来就是添加数据,但是在添加数据之前必须定义映射。 映射就是定义文档的过程,文档包含哪些字段,这些字段是否保存,是否索引,是否分词等。只有配置清楚,Elasticsearch才会帮我们进行索引库的创建。

创建映射字段

请求方式依然是PUT

PUT /索引库名/_mapping/类型名称
{"properties": {"字段名": {"type": "类型","index": true"store": true"analyzer": "分词器"}}
}
  • 类型名称:就是type的概念,类似于数据库中不同表字段名;任意填写,可以指定很多属性。
  • type:类型,可以是text、long、short、date、integer、object等
  • index:是否索引,默认为true
  • store:是否存储,默认为false(会自动生成一个_source备份)
  • analyzer:分词器,这里的ik_max_word即使用ik分词器

发起请求示例

PUT test/_mapping/goods
{"properties":{"title":{"type":"text","analyzer":"ik_max_word"},"images":{"type":"keyword","index":false},"price":{"type":"float"}}
}

字符串类型一共有两种,text代表进行分词,下面要加上分词器,这里使用的ik分词器中ik_max_word代表按照最大程度划分。
keyword不进行分词。

【问题】
在这里插入图片描述

  • elasticsearch创建索引时遇到analyzer[ik_max_word] not found for field[title]

【原因】
IK分词器插件未安装

查看映射关系

GET /索引库名/_mapping

字段属性详解

type

Elasticsearch中支持的数据类型非常丰富:
下面我们介绍几个关键的:
String类型,又分两种:

  • text:可分词,不可参与聚合
  • keyword:不可分词,数据作为完整字段进行匹配,可以参与聚合
    Numberical:数值类型,分两类
  • 基本数据类型:long、integer、short、byte、double、float、half_float
  • 浮点数的高精度类型:scaled_float
    需要指定一个精度因子,比如说10或者100,elasticseach会把真实值乘以这个因子存储,取出时再还原。
    Date:日期类型
    elasticsearch可以对日期格式化为字符串存储,但是建议我们存储为毫秒值,存储为long,节省空间。
index

index影响字段的索引情况

  • true:字段会被索引,则可以用来进行搜索,默认值就是true
  • false: 字段不会索引,不能用来搜索
    ** index的默认值就是true,也就是说不进行任何配置,所有字段都会被索引。**
    但是有些字段是我们不希望被索引的,比如商品的图片信息,就需要手动设置index为false。
store

是否将数据进行额外存储。
在学习lucene和solr时,我们知道如果一个字段的store的值设置为false,那么在文档列表中就不会有这个字段的值,用户的搜索结果中不会显示出来。
但是在elasticsearch中,即使store设置为false,也可以搜索到结果,
原因是Elasticsearch在创建文档索引时,会将文档中的原始数据备份,保存在一个交_source的属性中,而且我们可以通过过滤_source来选择哪些要显示,哪些不显示。
而如果设置store为true,就会在_source以外额外存储一份数据,比较多余,因此一般我们都会将store设置为false,事实上,store的默认值就是false。

字段映射设置流程

在这里插入图片描述

新增数据

新增会随机生成id

POST /索引库/类型名
{“key”:"value"
}

在这里插入图片描述

新增自定义id

如果我们想要自己新增的时候指定id,可以这么做

POST /索引库/类型/id值
{
}

在这里插入图片描述

智能判断

在学习Solr时我们发现,我们在新增数据时,只能使用提前配置好映射属性的字段,否则就会报错。不过在Elasticsearch中并没有这样的规定。
事实上Elasticsearch非常智能,你不需要给索引库设置任何mapping映射,它也可以根据你输入的数据来判断类型,动态添加数据映射。
在这里插入图片描述
相对上个例子来说,我这里新增了color和address两个字段。再看下索引库的映射关系。
在这里插入图片描述
color和address都被成功映射了。

修改数据

把刚才新增的请求方式改为PUT,就是修改数据操作不过修改操作必须要指定id。

  • id对应文档存在,则修改
  • id对应文档不存在,则新增
    在这里插入图片描述
    注意:如果只修改了一个字段,那么原有的其他字段都会消失,只保留当前的这次修改,相当于覆盖

删除数据

DELETE test/goods/2

查询

  • 基本查询
  • _source过滤
  • 结果过滤
  • 高级查询
  • 排序

基本查询

不能设置查询多个条件,如果需要请用后面的高级bool查询

GET /索引库名/_search
{"query"{“查询类型”:{“查询条件”:“查询条件值”}}
}

这里的query代表一个查询对象,里面可以有不同的查询属性

  • 查询类型:match_all,match,term,range等等
  • 查询条件:查询条件会根据类型的不同,写法也有差异,后面根据示例进行详细讲解。

查询所有(match_all)

在这里插入图片描述
hits:搜索结果的文档对象数组,每个元素是一条搜索到的文档信息。

  • _index:索引库
  • _type:文档类型
  • _id:文档id
  • _score:文档得分
  • _source:文档的源数据

匹配查询

在这里插入图片描述

多字段查询

multi_match与match类似,不同的是它可以在多个字段中查询

GET /test/_search
{"query":{"multi_match": {"query":    "小米","fields":   [ "title", "subTitle" ]}}

在本例中,我们会在title和subtitle字段中查询小米这个词。

词条匹配

term查询被用于精确值匹配
这些精确值可能是数字、时间、布尔或者那些未分词的字符串(keyword)

GET /test/_search
{"query":{"term":{"price":2699.00}}
}

多词条精确匹配

terms查询和term查询一样,但它允许你指定多值进行匹配,如果这个字段包含了指定值中的任何一个值,那么这个文档满足条件。

GET /test/_search
{"query":{"terms":{"price":[2699.00,2899.00,3899.00]}}
}

结果过滤

默认情况下,elasticsearch在搜索的结果中,会把文档中保存在_source的所有字段都返回。如果我们只想获取其中的部分字段,我们可以添加_source的过滤。

直接指定该字段

GET /heima/_search
{"_source": ["title","price"],"query": {"term": {"price": 2699}}
}

指定includes和excludes

我们也可以通过下面的方法来实现过滤

  • includes:来指定想要显示的字段
  • excludes:来指定不想显示的字段
GET /test/_search{"_source": {"includes":["title","price"]},"query": {"term": {"price": 2699}}}与下面的结果将是一样的:GET /test/_search{"_source": {"excludes": ["images"]},"query": {"term": {"price": 2699}}}

高级查询

布尔组合(多条件查询)
GET test/goods/_search
{"query": {"bool": {"must": [{"match": {"title": "小米电视"}}],"must_not": [{"match": {"title": "电视"}}]}}
}

查询bool里面结果全为true的情况。

范围查询

range查询找出那些落在指定区间内的数字或者时间,range允许以下操作符。

操作符说明
gt大于
gte大于等于
lt小于
lte小于等于
示例:
GET test/goods/_search
{"query": {"range": {"price": {"gte": 3000,"lte": 9909}}}
}
模糊查询(fuzzy)

fuzzy查询是term查询的模糊等价,它允许用户搜索词条与实际词条的拼写出现偏差,但是偏差的距离不得超过2.

GET /test/_search{"query": {"fuzzy": {"title": "appla"}}}

根据上面的示例,能够查询到apple的结果。我们也可以通过fuzziness来指定允许的编辑距离。

GET /test/_search{"query": {"fuzzy": {"title": {"value":"appla","fuzziness":1}}}}

排序

单字段排序(sort)

sort可以让我们按照不同的字段进行排序,并且通过order指定排序的方式。
示例

GET /test/_search
{"query": {"match": {"title": "小米手机"}},"sort": [{"price": {"order": "desc"}}]
}

sort是对查询后做的,不属于查询和过滤的条件,因此在query查询对象外面。

多字段查询

假定我们想要结合使用price和_score(得分)进行查询,并且匹配的结果首先按照价格排序,然后按照相关性得分排序。

GET test/goods/_search
{"query": {"bool": {"must": [{"match": {"title": "小米"}}]}},"sort": [{"price": {"order": "desc"}},{"_score": {"order": "desc"}}]
}

聚合(aggregations)

聚合可以让我们及其方便的实现对数据的统计分析
Elasticsearch中的聚合,包含多种类型,最常用的两种,一个叫桶,一个叫度量。

桶(bucket)类似于数据库中的分组group_by

桶的作用,是按照某种方式对数据进行分组,每一组数据在ES中被称为一个桶。Elasticsearch中提供的划分桶的方式有很多:

  • Date Histogram Aggregation:根据日期阶梯分组,例如给定阶梯为周,会自动每周分为一组。
  • Histogram Aggregation:根据数值阶梯分组,与日期类似;
  • Terms Aggregation:根据词条内容分组,词条内容完全匹配的为一组;
  • Range Aggregation:数值和日期的范围分组,指定开始和结束,然后按照阶段分组。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/290523.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2024 年广西职业院校技能大赛高职组《云计算应用》赛项样卷

#需要资源(软件包及镜像)或有问题的,可私博主!!! #需要资源(软件包及镜像)或有问题的,可私博主!!! #需要资源(软件包及镜…

Vue生命周期,从听说到深入理解(全面分析)

每个 Vue 组件实例在创建时都需要经历一系列的初始化步骤,比如设置好数据侦听,编译模板,挂载实例到 DOM,以及在数据改变时更新 DOM。在此过程中,它也会运行被称为生命周期钩子的函数,让开发者有机会在特定阶…

关于Devc++调试的问题以及解决STL变量无法查看

目前Devc的调试主要有以下几点: 1.调试不能直接查看stl变量,会卡死不动 2.目前单步进入只能用鼠标键按 3.若想按下一步进入函数体内,要在函数体内打上断点才行 4.调试到return 0 ;上一句就停了,不会结束程序 5.目前F2跳至断点…

docker logs 查找日志常用命令

docker logs 是什么 docker logs 是 Docker 命令行工具提供的一个命令,用于查看容器的日志输出。它可以显示容器在运行过程中生成的标准输出(stdout)和标准错误输出(stderr),帮助用户诊断容器的行为和排查…

慧天【HTWATER】:水文水动力模型的革命性工具,城市内涝的精准解决方案

城市内涝水文水动力模型介绍 在城市排水防涝规划过程中,水文水动力耦合模型已经成为一种不可或缺的分析工具。在模型建立、城市内涝风险评估、排水系统性能诊断以及海绵城市规划等方面,内涝耦合模型提供了相应的模拟及分析工具: 1.1丰富的数…

一、JAVA集成海康SDK

JAVA集成海康SDK 文章目录 JAVA集成海康SDK前言一、项目依赖 jar1. examples.jar2. 项目依赖 jna.jar,可以通过 maven依赖到。二、集成SDK1.HcNetSdkUtil 海康 SDK封装类2.HCNetSDK3.Linux系统集成SDK三、总结前言 提示:首先去海康官网下载 https://open.hikvision.com/dow…

蓝桥杯23年第十四届省赛真题-填充|DFS,贪心

题目链接: 1.填充 - 蓝桥云课 (lanqiao.cn) 蓝桥杯2023年第十四届省赛真题-填充 - C语言网 (dotcpp.com) 说明: dfs就不再多说了,对于每个?都有0和1两个分支,数据范围是: 那么有m个 ?,时间复杂度就是…

视频无水印爬虫采集工具|抖音视频批量下载软件|可导出视频分享链接

全新视频无水印爬虫采集工具,助力您快速获取所需视频! 视频无水印爬虫采集工具,为用户提供了强大的视频采集和下载功能。它可以批量提取关键词相关的视频,同时支持单独视频的提取和下载,操作简便,使用方便。…

CSS及javascript

一、CSS简介 css是一门语言&#xff0c;用于控制网页的表现。 cascading style sheet:层叠样式表 二、css的导入方式 css代码与html代码的结合方式 &#xff08;1&#xff09;css导入html有三种方式&#xff1a; 1.内联样式&#xff1a;<div style"color:red&quo…

深度学习每周学习总结P3(天气识别)

&#x1f368; 本文为&#x1f517;365天深度学习训练营 中的学习记录博客&#x1f356; 原作者&#xff1a;K同学啊 | 接辅导、项目定制 数据链接 提取码&#xff1a;o3ix 目录 0. 总结1. 数据导入部分数据导入部分代码详解&#xff1a;a. 数据读取部分a.1 提问&#xff1a;关…

智慧工厂视频汇聚与安全风险智能识别预警方案设计与功能

在智慧工厂的建设中&#xff0c;智能视频监控方案扮演着至关重要的角色。它不仅能够实现全方位、无死角的监控&#xff0c;还能够通过人工智能技术&#xff0c;实现智能识别、预警和分析&#xff0c;为工厂的安全生产和高效运营提供有力保障。 TSINGSEE青犀智慧工厂智能视频监…

网络爬虫框架Scrapy的入门使用

Scrapy的入门使用 Scrapy概述引擎&#xff08;Engine&#xff09;调度器&#xff08;Scheduler&#xff09;下载器&#xff08;Downloader&#xff09;SpiderItem Pipeline 基本使用安装scrapy创建项目定义Item数据模型对象创建爬虫(Spider)管道pipeline来保存数据启动爬虫 其他…

霸榜京东数据库图书热卖榜!《图数据库:理论与实践》热销中

《图数据库&#xff1a;理论与实践》自2月上市以来&#xff0c;受到了数据库行业的广泛关注与热烈支持&#xff0c;问世两周便销量破千本&#xff01;近期还荣登京东 “数据库图书榜”热卖榜第二名&#xff0c;广获好评&#xff01; 在此&#xff0c;真挚的感谢各位读者的认可…

实现定时任务

定时任务的实现方式有很多&#xff0c;比如XXL-Job等。但是其实核心功能和概念都是类似的&#xff0c;很多情况下只是调用的API不同而已。 这里就先用SpringBoot为我们提供的定时任务的API来实现一个简单的定时任务&#xff0c;让大家先对定时任务里面的一些核心概念有个大致的…

基于微信小程序的民宿短租系统设计与实现(论文+源码)_kaic

摘 要 随着社会的发展&#xff0c;出差、旅游成为常态&#xff0c;也就造成民宿短租市场的兴起。人们新到陌生的环境里找民宿一般都是通过中介。中介虽然可以快速找到合适的民宿但会收取大量的中介费用&#xff0c;这对刚到新环境里的人们来说是一笔大的资金支出。也有一些人通…

elasticsearch 8.12+kibana 8.12

准备工作&#xff1a;1.下载相关的安装包放到/usr/local/ES下面 elasticsearch下载地址:Download Elasticsearch | Elastic elasticsearch-head-master下载地址:https://github.com/mobz/elasticsearch-head/archive/master.zip node下载地址:Index of /dist/ kibana地址:Downl…

网络服务练习题

综合练习&#xff1a;请给 openlab 搭建 web 网站 网站需求&#xff1a; 1. 基于域名 www.openlab.com 可以访问网站内容为 welcome to openlab!!! 2. 给该公司创建三个子界面分别显示学生信息&#xff0c;教学资料 和缴费网站&#xff0c;基于&#xff0c; www.openlab.c…

正弦实时数据库(SinRTDB)的使用(5)-历史数据查询

前文已经将正弦实时数据库的使用进行了介绍&#xff0c;需要了解的可以先看下面的博客&#xff1a; 正弦实时数据库(SinRTDB)的安装 正弦实时数据库(SinRTDB)的使用(1)-使用数据发生器写入数据 正弦实时数据库(SinRTDB)的使用(2)-接入OPC DA的数据 正弦实时数据库(SinRTDB)…

微服务概述

微服务 概述1.单体架构2.分布式架构3.微服务的架构特征&#xff1a; 服务拆分和远程调用提供者与消费者 概述 1.单体架构 单体架构&#xff1a;将业务的所有功能集中在一个项目中开发&#xff0c;打成一个包部署。 单体架构的优缺点如下&#xff1a; 优点&#xff1a; 架构…

Vue-vue3

一、Vue3简介二、Vue3有那些优化性能的提升源码升级拥抱TypeScript新的特性 三、创建Vue3.0工程四、Vue3工程结构&#xff08;使用cli创建的vue3&#xff09;五、常用的Composition API&#xff08;组合式API&#xff09;setupsetup的两个注意点 ref函数reactive函数Vue3.0中的…