【运维监控】Prometheus+grafana+kafka_exporter监控kafka运行情况

  • 运维监控系列文章入口:【运维监控】系列文章汇总索引

文章目录

  • 一、prometheus
  • 二、grafana
  • 三、部署kafka_exporter
    • 1、下载
    • 2、解压
    • 3、配置
    • 4、启动
    • 5、验证
  • 四、prometheus集成grafana监控kafka
    • 1、修改prometheus配置
    • 2、导入grafana模板
    • 3、验证


  • 本示例通过kafka_exporter收集kafka的监控指标,然后将数据收集到prometheus中,最后通过grafana的dashboard导入模板进行可视化。
  • 本示例分为四个部分,即prometheus、grafana部署、kafka_exporter部署与配置和最后的集成。
  • 说明:本示例中的部署环境没有要求,即应用部署的机器根据实际情况而定,只要网络连通即可。

一、prometheus

参考:【运维监控】prometheus+node exporter+grafana 监控linux机器运行情况关于prometheus的部署。

二、grafana

参考:【运维监控】prometheus+node exporter+grafana 监控linux机器运行情况 关于grafana的部署。

三、部署kafka_exporter

通过kafka_exporter 用来收集 Topic、Broker、ConsumerGroup 的相关信息,可以方便对接 prometheus 和 grafana,使用起来比较方便。

相比JMX,kafka_exporter优势在于不需要消耗 JVM资源,指标收集时间从分钟级别降到秒级别,便于大规模集群的监控。

1、下载

下载地址:https://github.com/danielqsj/kafka_exporter/releases
下载版本:kafka_exporter-1.8.0.linux-amd64.tar.gz

2、解压

tar -xvf kafka_exporter-1.8.0.linux-amd64.tar.gz
cd kafka_exporter-1.8.0.linux-amd64/[alanchan@server3 bigdata]$ pwd
/usr/local/bigdata
[alanchan@server3 bigdata]$ ll
total 742444
drwxr-xr-x  9 alanchan root      4096 Dec 30  2022 kafka_2.12-3.0.0
-rw-r--r--  1 alanchan root  10451435 Sep  6 02:49 kafka_exporter-1.8.0.linux-amd64.tar.gz
[alanchan@server3 bigdata]$ tar -xvf kafka_exporter-1.8.0.linux-amd64.tar.gz
kafka_exporter-1.8.0.linux-amd64/
kafka_exporter-1.8.0.linux-amd64/LICENSE
kafka_exporter-1.8.0.linux-amd64/kafka_exporter
[alanchan@server3 bigdata]$ cd kafka_exporter-1.8.0.linux-amd64
[alanchan@server3 kafka_exporter-1.8.0.linux-amd64]$ ll
total 19980
-rwxr-xr-x 1 alanchan root 20446894 Aug 20 07:06 kafka_exporter
-rw-r--r-- 1 alanchan root    11357 Aug 20 07:02 LICENSE

3、配置

1个kafka集群只需要1个kafka_exporter,在集群上的任意1台服务器部署(视情况而定)。
作者的kafka是一个集群环境,部署在server1、server2和server3上,kafka_exporter选择部署在server3上。

kafka_exporter使用默认配置。

4、启动

# 收集单个kafka集群的指标
cd /usr/local/bigdata/kafka_exporter-1.8.0.linux-amd64
./kafka_exporter --kafka.server=server1:9092[alanchan@server3 kafka_exporter-1.8.0.linux-amd64]$ ./kafka_exporter --kafka.server=server1:9092
I0906 06:21:32.330396   28902 kafka_exporter.go:823] Starting kafka_exporter (version=1.8.0, branch=HEAD, revision=477643dd764c46ddd804ac4bd4022be877e3085b)
I0906 06:21:32.334258   28902 kafka_exporter.go:994] Listening on HTTP :9308
I0906 06:21:59.889927   28902 kafka_exporter.go:678] [server1:9092 server3:9092 server2:9092]# 收集多个kafka集群的指标,以下为示例
kafka_exporter --kafka.server=server1:9092 [--kafka.server=another-server ...]
kafka_exporter --kafka.server=server1:9092 --kafka.server=server2:9092 --kafka.server=server3:9092

5、验证

启动成功后,可以访问 http://server3:9308/metrics
在这里插入图片描述

四、prometheus集成grafana监控kafka

1、修改prometheus配置

在prometheus的配置文件(prometheus.yml)中添加如下配置部分。增加kafka_exporter的收集服务配置,示例如下。

  - job_name: "kafka-monitor"static_configs:- targets: ["server3:9308"]

重启prometheus后,并验证是否收集到监控信息。
查看Prometheus是否监控到运行的kafka应用如下图。
在这里插入图片描述
在prometheus中查询收集到的指标数据,如下图所示。
在这里插入图片描述

2、导入grafana模板

导入过程不再赘述,参考文章:【运维监控】Prometheus+grafana监控tomcat8.5 运行情况
本示例导入的模板ID是7589(kafka-exporter-overview)。

3、验证

以上所涉及的服务均能正常的运行,以及验证都通过。
导入模板完成后,会显示“No Data”,只有当kafka中有数据的时候,才会在模板中显示具体的指标数据。图示如下。
在这里插入图片描述
在这里插入图片描述
以上,完成了Prometheus+grafana监控kafka运行情况的示例。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/425506.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

从0书写一个softmax分类 李沐pytorch实战

输出维度 在softmax 分类中 我们输出与类别一样多。 数据集有10个类别,所以网络输出维度为10。 初始化权重和偏置 torch.norma 生成一个均值为 0,标准差为0.01,一个形状为size(num_inputs, num_outputs)的张量偏置生成一个num_outputs 10 的一维张量&a…

【计网】数据链路层:概述之位置|地位|链路|数据链路|帧

✨ Blog’s 主页: 白乐天_ξ( ✿>◡❛) 🌈 个人Motto:他强任他强,清风拂山岗! 💫 欢迎来到我的学习笔记! ① ② ③ ④ ⑤ ⑥ ⑦ ⑧ ⑨ ⑩ 1. 在OSI体系结构中的位置 1. 位置:数…

ICMP

目录 1. 帧格式2. ICMPv4消息类型(Type = 0,Code = 0)回送应答 /(Type = 8,Code = 0)回送请求(Type = 3)目标不可达(Type = 5)重定向(Type = 11)ICMP超时(Type = 12)参数3. ICMPv6消息类型回见TCP/IP 对ICMP协议作介绍 ICMP(Internet Control Message Protocol…

即插即用!高德西交的PriorDrive:统一的矢量先验地图编码,辅助无图自动驾驶

Driving with Prior Maps: Unified Vector Prior Encoding for Autonomous Vehicle Mapping 论文主页:https://misstl.github.io/PriorDrive.github.io/ 论文链接:https://arxiv.org/pdf/2409.05352 代码链接:https://github.com/missTL/Pr…

基于python+django+vue的学生成绩管理系统

作者:计算机学姐 开发技术:SpringBoot、SSM、Vue、MySQL、JSP、ElementUI、Python、小程序等,“文末源码”。 专栏推荐:前后端分离项目源码、SpringBoot项目源码、SSM项目源码 系统展示 【2025最新】基于协同过滤pythondjangovue…

用Python解决综合评价问题_模糊综合评价,决策树与灰色关联分析

一:模糊综合评价 模糊综合评价是一种有效的处理不确定性和模糊性的评价方法,特别是在人才评价等领域。它允许我们综合考虑多个评价指标,并给出一个综合的评价结果。以下是利用模糊综合评价对人才进行评价的步骤: 确定评价指标&am…

Git常用指令整理【新手入门级】【by慕羽】

Git 是一个分布式版本控制系统,主要用于跟踪和管理源代码的更改。它允许多名开发者协作,同时提供了强大的功能来管理项目的历史记录和不同版本。本文主要记录和整理,个人理解的Git相关的一些指令和用法 文章目录 一、git安装 & 创建git仓…

【AI大模型】ChatGPT模型原理介绍(上)

目录 🍔 什么是ChatGPT? 🍔 GPT-1介绍 2.1 GPT-1模型架构 2.2 GPT-1训练过程 2.2.1 无监督的预训练语言模型 2.2.2 有监督的下游任务fine-tunning 2.2.3 整体训练过程架构图 2.3 GPT-1数据集 2.4 GPT-1模型的特点 2.5 GPT-1模型总结…

深度学习-神经网络

文章目录 一、基本组成单元:神经元二、神经网络层三、偏置与权重四、激活函数1.激活函数的作用2.常见的激活函数1).Sigmoid2).Tanh函数3).ReLU函数 五、优点与缺点六、总结 神经网络(Neural Network, NN)是一种模拟人类大脑工作方式的计算模型…

Debian11.9镜像基于jre1.8的Dockerfile

Debian11.9基于jre1.8的Dockerfile编写 # 使用Debian 11.9作为基础镜像 FROM debian:11.9 # 维护者信息(建议使用LABEL而不是MAINTAINER,因为MAINTAINER已被弃用) LABEL maintainer"caibingsen" # 创建一个目录来存放jre …

LabVIEW提高开发效率技巧----VI服务器和动态调用

VI服务器(VI Server)和动态调用是LabVIEW中的两个重要功能,可以有效提升程序的灵活性、模块化和可扩展性。通过这两者的结合,开发者可以在运行时动态加载和调用VI(虚拟仪器),实现更为复杂的应用…

【我的 PWN 学习手札】Unsortedbin Attack

前言 Unsortedbin Attack不能说是一种getshell的方式,而只能说是一种利用手法。在glibc2.28之前有效,条件是存在uaf,效果是能在某一地址写一个大数(glibc上的一个地址)。 一、Unsortedbin的unlink过程 unsortedbin …

Android Framework(六)WMS-窗口显示流程——窗口内容绘制与显示

文章目录 窗口显示流程明确目标 窗户内容绘制与显示流程窗口Surface状态完整流程图 应用端处理finishDrawingWindow 的触发 system_service处理WindowState状态 -- COMMIT_DRAW_PENDING本次layout 流程简述 窗口显示流程 目前窗口的显示到了最后一步。 在 addWindow 流程中&…

C语言中数据类型

一、C 语言中数据类型 基本数据类型: 整型(int):用于存储整数,如:1、2、3等。字符型(char):用于存储单个字符,如:‘a’、‘b’、c’等。浮点型&a…

中秋献礼!2024年中科院一区极光优化算法+分解对比!VMD-PLO-Transformer-LSTM多变量时间序列光伏功率预测

中秋献礼!2024年中科院一区极光优化算法分解对比!VMD-PLO-Transformer-LSTM多变量时间序列光伏功率预测 目录 中秋献礼!2024年中科院一区极光优化算法分解对比!VMD-PLO-Transformer-LSTM多变量时间序列光伏功率预测效果一览基本介…

一种多策略改进小龙虾智能优化算法MSCOA 改进策略:种群混沌映射初始化+透镜成像反向学习+黄金正弦变异策略

一种多策略改进小龙虾智能优化算法MSCOA 改进策略:种群初始化精英反向透镜成像反向学习黄金正弦变异策略 文章目录 一、小龙虾COA基本原理二、改进策略2.1种群初始化 映射2.2 透镜成像反向学习2.3 黄金正弦变异策略 三、实验结果四、核心代码五、代码获取六、总结 一…

每日一个数据结构-跳表

文章目录 什么是跳表?示意图跳表的基本原理跳表的操作跳表与其他数据结构的比较 跳表构造过程 什么是跳表? 跳表(Skip List)是一种随机化的数据结构,它通过在有序链表上增加多级索引来实现快速查找、插入和删除操作。…

react hooks--useState

概述 useState 可以使函数组件像类组件一样拥有 state,也就说明函数组件可以通过 useState 改变 UI 视图。那么 useState 到底应该如何使用,底层又是怎么运作的呢,首先一起看一下 useState 。 问题:Hook 是什么? 一个 Hook 就是…

TensorRT-LLM——优化大型语言模型推理以实现最大性能的综合指南

引言 随着对大型语言模型 (LLM) 的需求不断增长,确保快速、高效和可扩展的推理变得比以往任何时候都更加重要。NVIDIA 的 TensorRT-LLM 通过提供一套专为 LLM 推理设计的强大工具和优化,TensorRT-LLM 可以应对这一挑战。TensorRT-LLM 提供了一系列令人印…

Double Write

优质博文:IT-BLOG-CN 一、存在的问题 为什么需要Double Write: InnoDB的PageSize是16kb,其数据校验也是针对这16KB来计算的,将数据写入磁盘是以Page为单位的进行操作的。而计算机硬件和操作系统,写文件是以4KB作为基…