Elasticsearch 索引生命周期和翻滚 (rollover) 策略

Elasticsearch 是搜索引擎中的摇滚明星,它的蓬勃发展在于使你的数据井井有条且速度快如闪电。 但当你的数据成为一场摇滚音乐会时,管理其生命周期就变得至关重要。 正确使用索引生命周期管理 (ILM) 和 rollover 策略,你的后台工作人员可确保顺利执行。

第一阶段:索引的诞生

将你的数据视为大量旋转的文档。 为了组织它们,你需要创建一个 “索引 (index)”,一个特殊的容器,就像乐队的音乐会舞台一样。 这是热 (hot) 阶段,你的索引会收到最新更新并在搜索聚光灯下闪闪发光。

第二阶段:成长与改变

随着音乐的响起和数据的流动,你的索引会增加。 它的大小会增加,搜索性能可能会下降,并且管理会变得混乱。 这就是 rollover 策略发挥作用的地方,就像巡演搭建新舞台一样。

Rollover 来救援!

将 rollover 视为当旧舞台变得拥挤时将乐队的表演复制到新舞台。 rollover 策略定义了触发创建新索引的条件,从而无缝地从旧索引传输文档。 这使你的搜索保持活跃并且数据易于管理。

翻转触发器:size 很重要(甚至更重要!)

展期政策可能由多种因素触发,但影响最大的是:

  1. 最大索引大小:当你的索引达到预定义大小(例如 50GB)时,就该进入新阶段了。 这可以防止性能问题并使数据保持井井有条。
  2. 最大索引年龄:即使你的索引不大,一段时间后它也可能会积灰。 设置最长期限(例如 30 天)可确保旧数据被存档或删除,就像存储旧的设置列表一样。
  3. 文档数量:如果你的索引达到一定数量的文档,则需要重新开始,例如新的歌曲列表。
  4. 索引运行状况:如果索引的运行状况指标(例如分片分配)表明存在问题,则翻转可以成为一种诊断工具,例如检查扬声器系统。
  5. 自定义条件:你可以根据特定的数据模式或事件编写自己的条件,例如根据数据中的关键字触发新阶段。

第三阶段:新一代崛起

一旦触发,滚动操作就会开始。将创建一个新索引,并根据你的策略规则进行命名(例如,使用时间戳或序列号),就像为新阶段指定一个唯一的名称一样。 新文档开始无缝转移到新文档,确保连续性并防止数据丢失,例如歌曲之间的完美转换。

第四阶段:管理世代

现在有了多个索引,ILM 可以帮助管理它们的生命周期。 你可以定义不同阶段的操作:

ILM 定义了五个索引生命周期阶段:

  • Hot:索引正在积极更新和查询。
  • Warm:索引不再更新,但仍在查询。 此阶段仍然针对搜索而不是存储进行优化。
  • Cold:索引不再更新,查询也很少。 信息仍然需要可搜索,但如果这些查询速度较慢也没关系。 此阶段针对存储而不是搜索进行了优化。
  • Frozen:索引不再更新,也很少查询。 信息仍然需要可搜索,但如果这些查询非常慢也没关系。 此阶段针对长期存储进行了优化。
  • Delete:索引不再需要,可以安全地删除。

健康翻滚的好处:

  • 改进的搜索性能:较小、较新的索引搜索速度更快,就像组织良好的集合列表一样。
  • 减少集群负载:跨多个索引分布数据可以减轻集群的压力,就像有多个阶段来共享人群一样。
  • 高效的存储管理:归档或删除旧数据可以释放宝贵的磁盘空间,例如整理设备存储。
  • 更轻松的数据管理:有组织的索引使你可以更轻松地查找、分析和管理数据,就像为你的仪器添加标签库存一样。

专家提示:

  • 从简单的策略开始,然后根据需要逐渐增加复杂性。
  • 在将策略部署到生产环境之前,先在开发环境中测试你的策略。 :D :D

结论:

通过实施轮转策略和 ILM,你可以确保你的 Elasticsearch 集群在不断增长的数据负载下蓬勃发展。 请记住,健康的索引生命周期就像一场管理良好的音乐会 —— 组织有序、高效,并且随时准备好迎接旅程中的下一首歌曲(或数据更新)。

更多关于生命周期管理的文章,请详细阅读文章 “Elastic:开发者上手指南” 中的 “生命周期管理(ILM)” 章节。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/221055.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

[Toolschain cpp ros cmakelist python vscode] 记录写每次项目重复的设置和配置 不断更新

写在前面 用以前的设置,快速配置项目,以防长久不用忘记,部分资料在资源文件里还没有整理 outline cmakelist 复用vscode 找到头文件vscode debug现有代码直接关联远端gitros杂记repo 杂记glog杂记 cmakelist 复用 包含了根据系统路径找库…

龙迅LT6211B,HDMI1.4转LVDS,应用于AR/VR市场

产品描述 LT6211B 是一款用于 VR/ 显示应用的高性能 HDMI1.4 至 LVDS 芯片。 对于 LVDS 输出,LT6211B 可配置为单端口、双端口或四端口。对于2D视频流,同一视频流可以映射到两个单独的面板,对于3D视频格式,左侧数据可以发送到一个…

深入理解 HTTP 和 HTTPS:提升你的网站安全性(下)

🤍 前端开发工程师(主业)、技术博主(副业)、已过CET6 🍨 阿珊和她的猫_CSDN个人主页 🕠 牛客高级专题作者、在牛客打造高质量专栏《前端面试必备》 🍚 蓝桥云课签约作者、已在蓝桥云…

PowerQuery:不会直接访问数据源,请重新生成此数据组合

报错信息: ⚠️ Formula.Firewall: 查询“到货表_已有数据”(步骤“删除的其他列”) 将引用其他查询或步骤,因此可能不会直接访问数据源。请重新生成此数据组合。 查询“”将引用其他查询或步骤,因此可能不会直接访问数据源,请重…

YOLOv8改进 | 主干篇 | 轻量级网络ShuffleNetV1(附代码+修改教程)

一、本文内容 本文给大家带来的改进内容是ShuffleNetV1,这是一种为移动设备设计的高效CNN架构。它通过使用点群卷积和通道混洗等操作,减少了计算成本,同时保持了准确性,通过这些技术,ShuffleNet在降低计算复杂度的同时…

Chromadb词向量数据库总结

简介 Chroma 词向量数据库是一个用于自然语言处理(NLP)和机器学习的工具,它主要用于词嵌入(word embeddings)。词向量是将单词转换为向量表示的技术,可以捕获单词之间的语义和语法关系,使得计算…

如何储存白葡萄酒和如何储存红葡萄酒?

为了进一步帮助软木塞在葡萄酒储存过程中正常工作,考虑一下他们储存区域的湿度水平。来自云仓酒庄品牌雷盛红酒分享根据你所处的气候,你的储存区域可能会比你的软木塞想要的要干燥。最佳的葡萄酒储存湿度条件在50-70%之间。此外,如果您的存储…

whisper深入-语者分离

文章目录 学习目标:如何使用whisper学习内容一:whisper 转文字1.1 使用whisper.load_model()方法下载,加载1.2 使用实例对文件进行转录1.3 实战 学习内容二:语者分离(pyannote.audio)pyannote.audio是huggi…

nextjs + sharp在 vercel 环境svg转png出现中文乱码

在之前一篇博客 Next.js和sharp实现占位图片生成工具,详细介绍了使用 Next.js sharp Vercel 来实现一个 占位图片生成工具,遇到一个奇怪的问题:在本地开发环境,英文、数字、中文字符自定义内容,都能正常渲染。但是发…

IP地址段与子网掩码对应表,网工人手一份!

你们好,我的网工朋友。 IP地址的设置与子网掩码的使用是网络中最容易出错的地方之一,很多项目之所有故障不断,原因皆在于此。 不少网工朋友也经常在群里讨论过这个问题,之前公众号也分享过相关内容,可以看看这篇&…

Java 基础学习(十三)集合框架、List集合

1 集合框架 1.1 Collection 1.1.1 集合框架概述 Java 集合框架是一组实现了常见数据结构(如列表、树集和哈希表等)的类和接口,用于存储一组数据。 开发者在使用Java的集合类时,不必考虑数据结构和算法的具体实现细节&#xff…

GitHub 如何修改 Fork from

如果你的仓库上面是 Fork from 的话,我们有什么办法能够取消掉这个 Fork from? 解决办法 GitHub 上面没有让你取消掉 Fork 的办法。 如果进入设置,在可见设置中也没有办法修改仓库的可见设置选项。 唯一的解决办法就是对你需要修改的仓库先…

【BEV感知】BEVFormer 融合多视角图形的空间特征和时序特征 ECCV 2022

前言 本文分享BEV感知方案中,具有代表性的方法:BEVFormer。 它基于Deformable Attention,实现了一种融合多视角相机空间特征和时序特征的端到端框架,适用于多种自动驾驶感知任务。 主要由3个关键模块组成: BEV Que…

Opencv实验合集——实验五:高动态范围

1.概念 高动态范围成像(HDRI 或 HDR)是一种用于成像和摄影的技术,可以再现比标准数字成像或照相技术更大的动态光度范围。虽然人眼可以适应各种光线条件,但大多数成像设备每通道使用 8 位,因此我们仅限于 256 级。当我…

Bifrost 中间件 X-Requested-With 系统身份认证绕过漏洞复现

0x01 产品简介 Bifrost是一款面向生产环境的 MySQL,MariaDB,kafka 同步到Redis,MongoDB,ClickHouse等服务的异构中间件 0x02 漏洞概述 Bifrost 中间件 X-Requested-With 存在身份认证绕过漏洞,未经身份认证的攻击者可未授权创建管理员权限账号,可通过删除请求头实现身…

Linux的重定向

Linux中的重定向是将程序的输入流或输出流从默认的位置改变到指定的位置。可以使用特殊的符号来实现重定向操作。(文中command代表命令) (1)重定向命令列表 命令 说明 command > file …

【单调栈】LeetCode1776:车队

作者推荐 【贪心算法】【中位贪心】.执行操作使频率分数最大 涉及知识点 单调栈 题目 在一条单车道上有 n 辆车,它们朝着同样的方向行驶。给你一个长度为 n 的数组 cars ,其中 cars[i] [positioni, speedi] ,它表示: positi…

iTOP-RK3568开发板实时系统编译,Preemption系统/Xenomai系统编译,获取Linux源码包

1 获取 Linux 源码包 编译环境说明: 本手册使用的是迅为提供的编译环境 ubuntu20.04,在网盘资料“iTOP-3568 开发板\03_ 【iTOP-RK3568 开发板】指南教程\05_NPU 开发配套资料\03_RKNN_Toolkit2 环境搭建\01 课程用到的资料\01_初始 Ubuntu20 虚拟机”…

这5个A 视频生成工具你需要了解

任何人都可以很快成为下一个斯科塞斯或斯皮尔伯格,而无需任何电影制作经验。 这是许多人工智能视频生成工具背后的公司做出的承诺。但如今这些文本转视频工具有多好呢?他们是否有足够的能力制作一部高质量、成熟的电影? 在本文中&#xff0…

java_web_电商项目

java_web_电商项目 1.登录界面2.注册界面3. 主界面4.分页界面5.商品详情界面6. 购物车界面7.确认订单界面8.个人中心界面9.收货地址界面10.用户信息界面11.用户余额充值界面12.后台首页13.后台商品增加14.后台用户增加15.用户管理16.源码分享1.登录页面的源码2.我们的主界面 1.…