【ES实战】治理项之索引模板相关治理

索引模板治理

文章目录

  • 索引模板治理
    • 问题现象
    • 分析思路
    • 操作步骤
    • 问题
    • 程序化方案
      • 索引与索引模板增加分片数校验管理
    • 彩蛋
      • 如何查询Flink on Yarn 模式下的Task Manager日志
        • 相关配置
        • 查询已停止的Flink任务
        • 查询未停止的Flink任务

问题现象

在集群索引新建时,索引的分片比较耗时。分钟级别的检测可以捕获到red状态。可能出现影响该索引的读写。过多的分片会应该集群的稳定。

分析思路

查询集群的索引的状态和分片数量,识别索引与分片的数量是否合理。

操作步骤

  1. 查询集群中的索引看分片数量

    GET _cat/indices?v&s=index
    

    prirep代表主分片数和副本分片数

  2. 查询集群中的索引分片大小是否合理

    GET _cat/shards?v&s=index
    

    store 代表存储大小

  3. 通过上述发现一些不合理的索引有规律性(由索引模板应用而来)

    查看模板列表

    GET _cat/templates?v&s=name
    

    template代表索引名称匹配模式(6.0版本以后为index_patterns

    查询单个模板的详细配置

    GET _template/索引模板名称
    

问题

  1. 如何识别索引属于那个模板生成???

    原生情况下,只能有索引名称进行模式匹配。

  2. 如何模板的版本与生成的索引之间的关系

    模板是可以变化,如果识别索引是那个状态下的模板呢

  3. 索引的数据量的变化不是很快,周期往往是半年或者一年,

    所以操作程序化的收益不大

程序化方案

索引与索引模板增加分片数校验管理

  • 索引模板管理信息中增加版本号,索引名称管理信息中增加,索引来源(模板-模板名称?模板ID?)
  • 索引模板应用的索引,由平台定时任务创建索引时,同时增加模板版本号信息。
  • 查询管理平台中由模板生成的索引,索引要求:当前月,当前日,前一月,前一日
  • 检测索引的分片设置是否合理,如果不合理(分片数过多或者过少)则由索引信息中绑定的索引模板,去查询模板的设置,如果模板设置不在合理范围则进行告警。
  • 模板生成的数据一般变化不会太大,可以对模板增加有一个检查时间,是检查超过半年或者1年的模板。

彩蛋

如何查询Flink on Yarn 模式下的Task Manager日志

已知条件,知晓任务的application id

目标通过Yarn Web UI查询Task Manager日志

相关配置
  • yarn.resourcemanager.webapp.address:yarn集群的RM web地址
  • yarn.nodemanager.webapp.address:yarn集群的NM web访问地址
查询已停止的Flink任务

拼接yarn集群的RM管理web地址与ApplicationId

http://{yarn.resourcemanager.webapp.address}/cluster/app/{ApplicationId}

http://demo.com:8080/cluster/app/application_1683333308174_19078

通过上述地址,打开任务的Yarn Web UI
在这里插入图片描述

点击Logs超链接,跳转到Job containerlogs 选择页,浏览器的地址会发生变化,跳转到执行Job Manager的NM上。此时也可以通过地址栏知道Node Manager的yarn.nodemanager.webapp.address的值(域名端口)。

打开jobmanager.log

在日志中搜索Registering TaskManager with ResourceID

2025-01-13 17:48:33,996 INFO flink-pekko.actor.default-dispatcher-19 ActiveResourceManager: Registering TaskManager with ResourceID container_e10_1683333308174_19078_01_000002(demo01:8043) (pekko.tcp://flink@demo01:31384/user/rpc/taskmanager_0) at ResourceManager

发现有一个task 的 ResourceID 是container_e10_1683333308174_19078_01_000002(容器ID),在demo01节点上执行。

此时开始拼接此task日志地址

http:{执行Task机器}:{yarn.nodemanager.webapp.address的端口}/node/containerlogs/{task的ResourceID}/{user}

举例:http://demo01:8088/node/containerlogs/container_e10_1683333308174_19078_01_000002/huatuo

此地址就可以打开taskmanager.log页面了

查询未停止的Flink任务

拼接yarn集群的RM管理web地址与ApplicationId

http://{yarn.resourcemanager.webapp.address}/cluster/app/{ApplicationId}

打开任务的Yarn Web UI
在这里插入图片描述

点击[ApplicationMaster]超链接,跳转到Flink的Web页面。点击导航菜单Task Managers 右侧会展示所有的Task,点击ID进行跳转至Task详细页。
在这里插入图片描述

在Task详细页,选择Logs栏会展示这个task的相关日志。

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/7779.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

winfrom项目,引用EPPlus.dll实现将DataTable 中的数据保存到Excel文件

最近研究不安装office也可以保存Excel文件,在网上查询资料找到这个方法。 第一步:下载EPPlus.dll文件(自行去网上搜索下载) 第二步:引用到需要用的项目中,如图所示: 第三步:写代码…

Unity git版本管理

创建仓库的时候添加了Unity的.gitignore模版,在这个时候就能自动过滤不需要的文件 打开git bash之后,步骤git版本管理-CSDN博客 如果报错,尝试重新进git 第一次传会耗时较长,之后的更新就很快了

分布式微服务系统简述

distributed microservice 分布式与微服务的定义及关系;分布式微服务架构里的各组件,如:配置中心、服务注册/发现、服务网关、负载均衡器、限流降级、断路器、服务调用、分布式事务等;spring cloud 介绍及实现案例,如…

npm启动前端项目时报错(vue) error:0308010C:digital envelope routines::unsupported

vue 启动项目时,npm run serve 报下面的错: error:0308010C:digital envelope routines::unsupported at new Hash (node:internal/crypto/hash:67:19) at Object.createHash (node:crypto:133:10) at FSReqCallback.readFileAfterClose [as on…

国产编辑器EverEdit - 大纲视图

1 大纲视图 1.1 应用场景 在编辑较长代码文件时,使用大纲视图可以方便的检视当前文件的变量、函数等信息,方便在不同函数间跳转,对整个文档的全貌了然于胸。   在编辑XML文档时,通过展示XML文件的层次结构、节点布局&#xff0…

FastExcel的使用

前言 FastExcel 是一款基于 Java 的开源库,旨在提供快速、简洁且能解决大文件内存溢出问题的 Excel 处理工具。它兼容 EasyExcel,提供性能优化、bug 修复,并新增了如读取指定行数和将 Excel 转换为 PDF 的功能。 FastExcel 的主要功能 高性…

GESP2024年3月认证C++六级( 第三部分编程题(1)游戏)

参考程序&#xff1a; #include <cstdio> using namespace std; const int N 2e5 5; const int mod 1e9 7; int n, a, b, c; int f[N << 1]; int ans; int main() {scanf("%d%d%d%d", &n, &a, &b, &c);f[N n] 1;for (int i n; i…

JVM深入学习(一)

目录 一.JVM概述 1.1 为什么要学jvm&#xff1f; 1.2 jvm的作用 1.3 jvm内部构造 二.JVM类加载 2.1类加载过程 2.2类加载器 2.3类加载器的分类 2.4双亲委派机制 三.运行时数据区 堆空间区域划分&#xff08;堆&#xff09; 为什么分区(代)&#xff1f;&#xff08…

java后端之事务管理

Transactional注解&#xff1a;作用于业务层的方法、类、接口上&#xff0c;将当前方法交给spring进行事务管理&#xff0c;执行前开启事务&#xff0c;成功执行则提交事务&#xff0c;执行异常回滚事务 spring事务管理日志&#xff1a; 默认情况下&#xff0c;只有出现Runti…

hadoop==docker desktop搭建hadoop

hdfs map readuce yarn https://medium.com/guillermovc/setting-up-hadoop-with-docker-and-using-mapreduce-framework-c1cd125d4f7b 清理资源 docker-compose down docker system prune -f

类和对象(4)——多态:方法重写与动态绑定、向上转型和向下转型、多态的实现条件

目录 1. 向上转型和向下转型 1.1 向上转型 1.2 向下转型 1.3 instanceof关键字 2. 重写&#xff08;overidde&#xff09; 2.1 方法重写的规则 2.1.1 基础规则 2.1.2 深层规则 2.2 三种不能重写的方法 final修饰 private修饰 static修饰 3. 动态绑定 3.1 动态绑…

Java 实现Excel转HTML、或HTML转Excel

Excel是一种电子表格格式&#xff0c;广泛用于数据处理和分析&#xff0c;而HTM则是一种用于创建网页的标记语言。虽然两者在用途上存在差异&#xff0c;但有时我们需要将数据从一种格式转换为另一种格式&#xff0c;以便更好地利用和展示数据。本文将介绍如何通过 Java 实现 E…

嵌入式蓝桥杯电子赛嵌入式(第14届国赛真题)总结

打开systic 生成工程编译查看是否有问题同时打开对应需要的文档 修改名称的要求 5.简单浏览赛题 选择题&#xff0c;跟单片机有关的可以查相关手册 答题顺序 先从显示开始看 1,2 所以先打开PA1的定时器这次选TIM2 从模式、TI2FP2二通道、内部时钟、1通道设为直接2通道设置…

Oracle Agile PLM Web Service Java示例测试开发(一)环境环境、准备说明

1 说明 1.1 PLM信息介绍 PLM&#xff1a;Oracle的产品Agile PLM&#xff08;Agile Product Lifecycle Management&#xff09; 版本号&#xff1a;9.3.6 (Build 47) Path&#xff1a;https://IP:7002/Agile/default/login-cms.jsp 1.2 开发工具和环境说明 开发工具&#xf…

引领产品创新: 2025 年 PM 效能倍增法则

本文讲述 PM 如何利用 AI 做到效率倍增&#xff0c;非常有借鉴意义&#xff0c;故而翻译于此。 原文链接&#xff1a;https://www.news.aakashg.com/p/the-ai-pms-playbook 在产品圈有一个广为流传的说法&#xff1a; “每个产品经理都应该成为 AI 产品经理。” 这个观点有一…

unity学习20:time相关基础 Time.time 和 Time.deltaTime

目录 1 unity里的几种基本时间 1.1 time 相关测试脚本 1.2 游戏开始到现在所用的时间 Time.time 1.3 时间缩放值 Time.timeScale 1.4 固定时间间隔 Time.fixedDeltaTime 1.5 两次响应时间之间的间隔&#xff1a;Time.deltaTime 1.6 对应测试代码 1.7 需要关注的2个基本…

在Windows系统中本地部署属于自己的大语言模型(Ollama + open-webui + deepseek-r1)

文章目录 1 在Windows系统中安装Ollama&#xff0c;并成功启动&#xff1b;2 非docker方式安装open-webui3下载并部署模型deepseek-r1 Ollama Ollama 是一个命令行工具&#xff0c;用于管理和运行机器学习模型。它简化了模型的下载与部署&#xff0c;支持跨平台使用&#xff0c…

996引擎 - NPC-动态创建NPC

996引擎 - NPC-动态创建NPC 创建脚本服务端脚本客户端脚本参考资料有个小问题,创建NPC时没有控制朝向的参数。所以。。。自己考虑怎么找补吧。 创建脚本 服务端脚本 Mir200\Envir\Market_Def\test\test001-3.lua -- NPC入口函数 function main(player)-- 获取玩家的用户名…

【云安全】云原生-Docker(五)容器逃逸之漏洞利用

漏洞利用逃逸 通过漏洞利用实现逃逸&#xff0c;主要分为以下两种方式&#xff1a; 1、操作系统层面的内核漏洞 这是利用宿主机操作系统内核中的安全漏洞&#xff0c;直接突破容器的隔离机制&#xff0c;获得宿主机的权限。 攻击原理&#xff1a;容器本质上是通过 Linux 的…

82,【6】BUUCTF WEB .[CISCN2019 华东南赛区]Double Secret

进入靶场 提到了secret&#xff0c;那就访问 既然这样&#xff0c;那就传参看能不能报错 这个页面证明是有用的 传参长一点就会报错&#xff0c;传什么内容无所谓 所以网站是flask框架写的 有一个颜色深一点&#xff0c;点开看看 rc4加密url编码 import base64 from urllib…