ElasticSearch索引别名的应用

个人博客:无奈何杨(wnhyang)

个人语雀:wnhyang

共享语雀:在线知识共享

Github:wnhyang - Overview


Elasticsearch 索引别名是一种极为灵活且强大的功能,它允许用户为一个或多个索引创建逻辑上的别名。这些别名用途广泛,涵盖查询、索引操作以及索引管理等多个方面。以下为一些常见的索引别名应用场景:

简化查询

通过创建别名,用户能够以更简洁的名称访问一个或多个索引。例如,若你有一个索引名为products_2024,可创建别名current_products以简化查询流程:

POST /_aliases
{"actions": [{ "add": { "index": "products_2024", "alias": "current_products" } }]
}

在执行查询时,只需使用别名:

GET /current_products/_search
{"query": {"match": { "category": "electronics" }}
}

如此一来,不仅使查询语句更为简洁,也降低了因索引名称变更而需大规模修改查询代码的风险,提高了代码的可维护性。

索引版本管理

当需要滚动更新索引(如按月或按年创建新索引)时,别名可用于指向当前活跃的索引。这种方式下,用户仅需更新别名,而无需对查询代码进行修改。

  1. 创建索引和别名
PUT /products_2024
{"aliases": {"current_products": {}}
}
  1. 创建新索引并切换别名
PUT /products_2025
{"aliases": {"current_products": {}}
}
POST /_aliases
{"actions": [{ "remove": { "index": "products_2024", "alias": "current_products" } },{ "add": { "index": "products_2025", "alias": "current_products" } }]
}

通过这种方式,实现了索引版本的平滑过渡,保证了业务查询的连续性,极大地减少了因索引更新带来的系统影响。

处理索引重建和升级

在对现有索引进行重建或升级(如更改映射或设置)时,可先创建新索引,再通过别名切换至新索引,从而确保服务不中断。

  1. 创建新索引
PUT /products_v2
{"mappings": {"properties": {"new_field": { "type": "text" }}}
}
  1. 切换别名
POST /_aliases
{"actions": [{ "remove": { "index": "products_v1", "alias": "products" } },{ "add": { "index": "products_v2", "alias": "products" } }]
}

这种操作方式使得索引重建和升级过程对业务的影响降至最低,保证了系统的稳定性和可用性。

执行多索引查询

用户可为多个索引创建一个别名,借此通过该别名对多个索引执行查询操作。例如,假设有多个分区索引,如logs_2023_01、logs_2023_02,可创建别名logs_2023以查询这些索引:

POST /_aliases
{"actions": [{ "add": { "index": "logs_2023_01", "alias": "logs_2023" } },{ "add": { "index": "logs_2023_02", "alias": "logs_2023" } }]
}

查询时,只需使用logs_2023作为索引名称:

GET /logs_2023/_search
{"query": {"match": { "status": "error" }}
}

这一功能在处理大规模数据查询时,能够显著提高查询效率,减少重复查询操作。

隔离读写操作

通过为写入操作和读取操作分别设置不同别名,可有效隔离读写操作。例如,设置别名write_index用于索引新数据,设置别名read_index用于搜索查询:

POST /_aliases
{"actions": [{ "add": { "index": "logs_2024", "alias": "write_index" } },{ "add": { "index": "logs_2023", "alias": "read_index" } }]
}

在更新时切换写入别名:

POST /_aliases
{"actions": [{ "remove": { "index": "logs_2023", "alias": "write_index" } },{ "add": { "index": "logs_2024", "alias": "write_index" } }]
}

这种隔离机制有助于提高系统性能,防止写操作对读操作产生性能干扰。

数据迁移

在将正常运行集群中的索引迁移到另外一个索引时,使用索引别名可以做到无须停机操作。例如,假设要将old_index迁移至new_index ,可以先为new_index添加与old_index相同的别名,应用程序在迁移过程中依然通过该别名进行访问,待数据迁移完成,删除old_index以及其相关别名,不会影响业务的正常运行。具体操作如下:

  1. 为新索引添加别名
POST /_aliases
{"actions": [{ "add": { "index": "new_index", "alias": "old_index" } }]
}
  1. 数据迁移完成后,删除旧索引别名
POST /_aliases
{"actions": [{ "remove": { "index": "old_index", "alias": "old_index" } }]
}
  1. 删除旧索引
DELETE /old_index

索引分组管理

可以将多个索引进行分组,以便于更好的管理。例如,假设有一系列与销售数据相关的索引,sales_2023_q1、sales_2023_q2、sales_2023_q3、sales_2023_q4 ,可以为它们添加一个统一的别名sales_2023,对这一年度的销售数据索引进行统一管理。操作如下:

POST /_aliases
{"actions": [{ "add": { "index": "sales_2023_q1", "alias": "sales_2023" } },{ "add": { "index": "sales_2023_q2", "alias": "sales_2023" } },{ "add": { "index": "sales_2023_q3", "alias": "sales_2023" } },{ "add": { "index": "sales_2023_q4", "alias": "sales_2023" } }]
}

之后在进行涉及全年销售数据的查询、统计等操作时,直接使用sales_2023别名即可,方便快捷。

索引子集创建

给索引创建类似于视图的子集。例如,在一个包含大量用户信息的索引users中,若只想对特定年龄段(如 18 - 30 岁)的用户数据进行操作,可以创建一个过滤器别名。假设索引中有age字段,操作如下:

  1. 创建过滤器别名
POST /_aliases
{"actions": [{"add": {"index": "users","alias": "young_users","filter": {"range": {"age": {"gte": 18,"lte": 30}}}}}]
}
  1. 使用过滤器别名查询
GET /young_users/_search
{"query": {"match_all": {}}
}

此时通过young_users别名查询,返回的结果就只会是符合年龄范围的用户数据。

Elasticsearch 索引别名实现读写分离

Elasticsearch 的索引别名功能可用于实现读写分离,这是一种常见的架构模式,有助于提升系统的可伸缩性和性能。在实际应用中,读写分离可确保写操作不会影响读操作的性能,同时可利用多索引分散读取负载。

实现读写分离的基本思路
  1. 写入索引

    • 新的写入操作被路由至一个单一的写入索引。
    • 该索引通常为最新的索引,专门用于接收新的数据写入。
  2. 读取索引

    • 读取操作被路由至一个或多个读取索引。
    • 读取索引可包括最新的写入索引以及其他已关闭写入操作的旧索引。
  3. 使用别名

通过使用别名,可将写入操作路由至写入索引,同时将读取操作路由至读取索引组。

实际应用案例

假设拥有一个日志聚合系统,每天创建一个新索引以存储当天的日志数据。需确保写入操作仅发生在最新的索引上,而读取操作可分布到多个索引上。

  1. 步骤 1:创建索引和别名

    • 创建写入索引

      • 创建名为logs_2024-08-01的索引。
      • 创建别名write_index,使其指向logs_2024-08-01。
    • 创建读取索引组

      • 创建别名read_index_group,最初指向logs_2024-08-01。
  2. 步骤 2:写入数据

所有的写入操作都通过write_index别名进行,这些操作会被路由到logs_2024-08-01。

  1. 步骤 3:读取数据

读取操作通过read_index_group别名进行,最初同样指向logs_2024-08-01。

  1. 步骤 4:滚动索引

    • 创建新的写入索引

      • 创建新索引logs_2024-08-02。
      • 更新write_index别名,使其指向logs_2024-08-02。
    • 更新读取索引组

      • 将logs_2024-08-02添加到read_index_group别名中。
      • 若有需要,可将旧索引logs_2024-08-01从read_index_group别名中移除。
示例命令

假设已创建logs_2024-08-01和logs_2024-08-02索引,且希望更新别名以实现读写分离:

  1. 创建写入索引别名
curl -X POST "localhost:9200/_aliases" -H 'Content-Type: application/json' -d'
{"actions": [{ "add": { "index": "logs_2024-08-01", "alias": "write_index" } }]
}
'
  1. 创建读取索引组别名
curl -X POST "localhost:9200/_aliases" -H 'Content-Type: application/json' -d'
{"actions": [{ "add": { "index": "logs_2024-08-01", "alias": "read_index_group" } }]
}
'
  1. 滚动索引
curl -X POST "localhost:9200/_aliases" -H 'Content-Type: application/json' -d'
{"actions": [{ "remove": { "index": "logs_2024-08-01", "alias": "write_index" } },{ "add": { "index": "logs_2024-08-02", "alias": "write_index" } },{ "add": { "index": "logs_2024-08-02", "alias": "read_index_group" } }]
}
'

总结

  1. 写入索引 ( write_index ) :用于接收新的写入操作。
  2. 读取索引组 ( read_index_group ) :用于分散读取操作的负载。
  3. 滚动索引:定期更新别名,确保新的写入操作被路由到最新的索引,同时保持读取操作分布在多个索引上。

这种方式在高并发和大数据量的场景下,能够有效提升系统的性能和可伸缩性。

写在最后

拙作艰辛,字句心血,望诸君垂青,多予支持,不胜感激。


个人博客:无奈何杨(wnhyang)

个人语雀:wnhyang

共享语雀:在线知识共享

Github:wnhyang - Overview

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/4960.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

火狐浏览器Firefox一些配置

没想到还会开这个…都是Ubuntu的错 一些个人习惯吧 标签页设置 常规-标签页 1.按最近使用顺序切换标签页 2.打开新标签而非新窗口(讨厌好多窗口) 3.打开新链接不直接切换过去(很打断思路诶) 4.关闭多个标签页时不向我确认 启动…

数据结构-队列

目录 前言一、队列及其抽象数据类型1.1 队列的基本概念1.2 队列的抽象数据类型 二、队列的实现2.1 顺序表示2.1.1 结构定义2.1.2 基本操作的实现 2.2 链式表示2.2.1 结构定义2.2.2 基本操作的实现 总结 前言 本篇文章介绍队列的基础知识,包括队列的抽象数据类型以及…

STM32-串口-UART-Asynchronous

一,发送数据 #include "stdio.h" uint8_t hello[]"Hello,blocking\r\n"; HAL_UART_Transmit(&huart1,hello,sizeof(hello),500); 二,MicroLIB-printf(" hello\r\n") #include "stdio.h" #ifdef __GNUC…

深度学习 DAY2:Transformer(一部分)

前言 Transformer是一种用于自然语言处理(NLP)和其他序列到序列(sequence-to-sequence)任务的深度学习模型架构,它在2017年由Vaswani等人首次提出。Transformer架构引入了自注意力机制(self-attention mech…

《目标检测数据集下载地址》

一、引言 在计算机视觉的广袤领域中,目标检测宛如一颗璀璨的明星,占据着举足轻重的地位。它宛如赋予计算机一双锐利的 “眼睛”,使其能够精准识别图像或视频中的各类目标,并确定其位置,以边界框的形式清晰呈现。这项技…

题解 CodeForces 1037D Valid BFS? 三种解法 C++

题目传送门 Problem - 1037D - Codeforceshttps://codeforces.com/problemset/problem/1037/Dhttps://codeforces.com/problemset/problem/1037/Dhttps://codeforces.com/problemset/problem/1037/Dhttps://codeforces.com/problemset/problem/1037/Dhttps://codeforces.com/p…

2024微短剧行业生态洞察报告汇总PDF洞察(附原数据表)

原文链接: https://tecdat.cn/?p39072 本报告合集洞察从多个维度全面解读微短剧行业。在行业发展层面,市场规模与用户规模双增长,创造大量高收入就业岗位并带动产业链升级。内容创作上,精品化、品牌化趋势凸显,题材走…

HTML<img>标签

例子 如何插入图片&#xff1a; <img src"img_girl.jpg" alt"Girl in a jacket" width"500" height"600"> 下面有更多“自己尝试”的示例。 定义和用法 该<img>标签用于在 HTML 页面中嵌入图像。 从技术上讲&#x…

故障诊断 | BWO白鲸算法优化KELM故障诊断(Matlab)

目录 效果一览文章概述BWO白鲸算法优化KELM故障诊断一、引言1.1、研究背景及意义1.2、故障诊断技术的现状1.3、研究目的与内容二、KELM基本理论2.1、KELM模型简介2.2、核函数的选择2.3、KELM在故障诊断中的应用三、BWO白鲸优化算法3.1、BWO算法基本原理3.2、BWO算法的特点3.3、…

apisix的authz-casbin

目录 1、apisix的auth-casbin官方介绍 2、casbin介绍和使用 2.1基本知识&#xff1a; 2.2使用例子 3、配置插件 4、postman调用 5、auth-casbin的坑 1、apisix的auth-casbin官方介绍 authz-casbin | Apache APISIX -- Cloud-Native API Gateway 2、casbin介绍和使用 c…

基于python+Django+mysql鲜花水果销售商城网站系统设计与实现

博主介绍&#xff1a;黄菊华老师《Vue.js入门与商城开发实战》《微信小程序商城开发》图书作者&#xff0c;CSDN博客专家&#xff0c;在线教育专家&#xff0c;CSDN钻石讲师&#xff1b;专注大学生毕业设计教育、辅导。 所有项目都配有从入门到精通的基础知识视频课程&#xff…

【大模型】ChatGPT 高效处理图片技巧使用详解

目录 一、前言 二、ChatGPT 4 图片处理介绍 2.1 ChatGPT 4 图片处理概述 2.1.1 图像识别与分类 2.1.2 图像搜索 2.1.3 图像生成 2.1.4 多模态理解 2.1.5 细粒度图像识别 2.1.6 生成式图像任务处理 2.1.7 图像与文本互动 2.2 ChatGPT 4 图片处理应用场景 三、文生图操…

【0x0052】HCI_Write_Extended_Inquiry_Response命令详解

目录 一、命令概述 二、命令格式及参数 2.1. HCI_Write_Extended_Inquiry_Response命令格式 2.2. FEC_Required 2.3. Extended_Inquiry_Response 三、生成事件及参数 3.1. HCI_Command_Complete 事件 3.2. Status 四、命令执行流程 4.1. 命令准备阶段(主机端) 4.2…

函数递归的介绍

1.递归的定义 在C语言中&#xff0c;递归就是函数自己调用自己 上面的代码就是 main 函数在函数主体内 自己调用自己 但是&#xff0c;上面的代码存在问题&#xff1a;main 函数反复地 自己调用自己 &#xff0c;不受限制&#xff0c;停不下来。 最终形成死递归&#xff0c;…

小白爬虫——selenium入门超详细教程

目录 一、selenium简介 二、环境安装 2.1、安装Selenium 2.2、浏览器驱动安装 三、基本操作 3.1、对页面进行操作 3.1.1、初始化webdriver 3.1.2、打开网页 3.1.3、页面操作 3.1.4、页面数据提取 3.1.5、关闭页面 ?3.1.6、综合小案例 3.2、对页面元素进行操作 3…

JDK长期支持版本(LTS)

https://blogs.oracle.com/java/post/the-arrival-of-java-23 jdk长期支持版本&#xff08;LTS&#xff09;&#xff1a;JDK 8、11、17、21&#xff1a;

三格电子——MODBUS TCP 转 CANOpen 协议网关

一、产品概述 1.1 产品用途 SG-TCP-COE-210 网关可以实现将 CANOpen 接口设备连接到 MODBUS TCP 网络中。用户不需要了解具体的 CANOpen 和 Modbus TCP 协议即可实现将 CANOpen 设备挂载到 MODBUS TCP 接口的 PLC 上&#xff0c;并和 CANOpen 设备进行 数据交互。 1.2 产品…

在离线无管理员权限的情况下为Linux配置oh-my-zsh(zsh+oh my zsh+powerlevel10k)

0. 前言 最近接触到一台离线环境下的Linux&#xff08;CentOS7&#xff09;&#xff0c;自带的终端实在过于丑陋&#xff08;tcsh&#xff09;&#xff0c;但是搜半天改zsh的教程要么要网、要么要管理员权限&#xff0c;奋而自己折腾半天记录于此以作备忘。 所需环境 一台能…

C 语言雏启:擘画代码乾坤,谛观编程奥宇之初瞰

大家好啊&#xff0c;我是小象٩(๑ω๑)۶ 我的博客&#xff1a;Xiao Xiangζั͡ޓއއ 很高兴见到大家&#xff0c;希望能够和大家一起交流学习&#xff0c;共同进步。* 这一课主要是让大家初步了解C语言&#xff0c;了解我们的开发环境&#xff0c;main函数&#xff0c;库…

Java - WebSocket

一、WebSocket 1.1、WebSocket概念 WebSocket是一种协议&#xff0c;用于在Web应用程序和服务器之间建立实时、双向的通信连接。它通过一个单一的TCP连接提供了持久化连接&#xff0c;这使得Web应用程序可以更加实时地传递数据。WebSocket协议最初由W3C开发&#xff0c;并于2…