Jmeter+Grafana+Prometheus搭建压测监控平台

本文不介绍压测的规范与技术指标,本文是演示针对Jmeter如何将压测过程中的数据指标,通过Prometheus采集存储,并在Granfan平台进行仪表盘展示;

介绍

系统压测属于日常项目开发中的一个测试环节,使用测试工具模拟真实用户行为,在已知的软硬件资源下,通过批量压测对项目的服务性能进行检验,从而了解系统接口稳定性、每秒并发瓶颈、错误率多少、响应时间、QPS、流量大小等等;也是为了项目上线后,通过对未来可能达到的系统上限与并发问题,提前进行预测与检验;防止真实上线后未经压力测试,无足够的性能压测评估,当大量请求到来时,可能引起未知的系统崩溃;通过压测,可以撑握系统峰值能力与并发能力,并提前通过风险策略与技术干预,降低系统宕机风险;因此对于企业来说,压测是系统测试与验收过程中必不可少的要求;

常见压测场景:

  • 业务系统上线前压测检验
  • 服务线上遇到性能瓶颈或问题,需要压测复现
  • 对业务接口进行响应测试与并发测试,评估接口响应性能
  • 对不同硬件资源条件下进行系统压测,评估服务软硬件性能
  • 企业或合作方明确要求对系统软件验收压测

压测集成工具

Jmeter

JMeter 是一个开源的负载测试和性能测量工具,由Apache软件基金会开发。JMeter采用JAVA开发,它主要用于测试Web应用程序,但也可以测试各种服务。JMeter可以模拟多个用户同时发送请求到服务器,以测试其负载能力和性能。

JMeter 是一个强大的工具,适用于开发者和测试工程师用来确保他们的应用程序可以承受预期的用户负载。

主要特点:

  • 多协议支持:支持HTTP, HTTPS, FTP, SOAP, REST, TCP等。
  • 可扩展:可以通过插件扩展功能。
  • 友好的GUI:提供图形用户界面,便于设计和执行测试。
  • 结果分析:可以生成图形报告,帮助分析测试结果。
  • 多线程框架:允许并发和同时抽样多个函数。

使用场景:

  • 性能测试:测试应用程序在高负载下的表现。
  • 负载测试:确定应用程序的最大操作能力。
  • 压力测试:测试应用程序在超过正常负载条件下的表现。

官方网站:Apache JMeter - Apache JMeter™

Prometheus

Prometheus 是云原生计算基金会项目,是一个系统和服务监控系统。它以给定的时间间隔从配置的目标收集指标,评估规则表达式,显示结果,并可以在观察到指定条件时触发警报。

Prometheus监控系统包括丰富的多维数据模型、简洁而强大的PromQL查询语言、高效的嵌入式时间序列数据库以及与第三方系统的150多个集成;

Prometheus 与其他指标和监控系统的区别在于:

  • 多维数据模型(由指标名称和键/值维度集定义的时间序列)
  • PromQL,一种强大而灵活的查询语言,可以利用这种维度
  • 不依赖分布式存储;单个服务器节点是自治的
  • 用于时间序列收集的HTTP拉模型
  • 通过批处理作业的中间网关支持推送时间序列
  • 通过服务发现或静态配置发现目标
  • 多种图形和仪表板支持模式
  • 支持分层和水平联合

Github地址:GitHub - prometheus/prometheus: The Prometheus monitoring system and time series database.

Grafana

Grafana 开源是开源可视化和分析软件。它允许您查询、可视化、警报和探索您的指标、日志和跟踪,无论它们存储在何处。它为您提供了将时间序列数据库 (TSDB) 数据转换为富有洞察力的图表和可视化的工具。

Grafana支持非常多的数据源,同时又有强大的可视化、告警等非常强大的功能,因此在数据分析、指标追踪和数据查询等方面,需多的公司在运维指标、日志分析、大屏展示等有实际应用;在项目监控、运维、服务器指标等业务上,是一个强大可靠的分析平台;

官网:http://grafana.com

注:相关软件从各自平台或官网下载即可。Jmeter安装比较简单,下载压测包后解压即可用(需安装jdk1.8+),Grafana和Prometheus安装过程参考《Grafana,Loki,Tempo,Prometheus,Agent搭建日志链路监控平台》,此处不在重述;

Jmeter集成插件

待上述软件安装后,我们通过一个简单示例演示Jmeter工具如何配置Prometheus插件与Prometheus采集指标;

Jmeter配置插件

启动Jmeter后,通过菜单:选项》Plugins Manager,进入插件管理窗口,安装Prometheus Listener Plugin插件

在弹出的插件管理窗口中,点击"Available Plugins"选项卡,在搜索框中输出Prometheus查找Prometheus Listener Plugin插件

此处我已提前安装过,在“Installed Plugins”选项卡中,已存在Prometheus Listener Plugin插,注意:安装后如果在线程组上右键找不到“添加》监听器》Prometheus Listener”选项,可能需要重启一下jmeter 即可,或在Jmeter安装目录lib\ext下是否有jmeter-prometheus-plugin-0.6.0.jar,如果没有需重新安装,或通过github开源项目上下载最新jar放到lib\ext目录下即可;

Prometheus Listener Plugin插件介绍:

Prometheus Listener Plugin是JMeter中的一个开源插件,通过可配置的监听器(和配置元素),允许用户定义他们自己的指标(名称、类型等),并通过 Prometheus /metrics API 公开它们,以供 Prometheus 服务器抓取。

Github地址:GitHub - johrstrom/jmeter-prometheus-plugin: A Prometheus Listener for Apache JMeter that exposes results in an http API

在线程组上使用Prometheus Listener 监听器后,启动Jmeter压测,即会自动监听本机默认9270端口,也可通过Jmeter安装目录bin/jmeter.properties属性配置文件进行修改,添加如下配置(默认无以下配置),相关配置说明请参考Github项目文档说明;

#---------------------------------------------------------------------------
# Documentation jmeter-prometheus-plugin插件配置 
#---------------------------------------------------------------------------# http服务器将绑定到的端口
prometheus.port=9270
# http服务器将绑定到的ip
prometheus.ip=0.0.0.0
# http服务器在被销毁之前等待的延迟(以秒为单位)
prometheus.delay=3
# 保存和收集 jmeter 线程指标的True或false值
prometheus.save.threads=true
# 描述jmeter线程的指标名称
prometheus.save.threads.name=jmeter_threads
# 从JVM收集指标
prometheus.save.jvm=true

如上,已完成Jmeter prometheus plugin插件安装与配置;

创建Jmeter压测线程

压测线程组

选择根Test Plan右键:添加》(线程)用户》线程组,新建一个线程组,命名:Prometheus指标压测

配置线程数:6000

Ramp-Up时间(秒):3000

循环次数:1

表示整个Jmeter压测过程中共创建6000个线程在3000秒内请求完毕,并只执行1轮(循环次数为1);

此配置目的是为了让Jmeter保持较长时间的请求,从而在Grafana上展示较长的仪表线条;

注:实际压测会根据真实需求配置线程数和时间,此处只做演示用;

添加取样器

HTTP请求:发起http协议请求,用于向指定WEB服务URL发起请求(注意:将名称更改为"HTTP Request",因为默认jmeter对中文输出没做处理,prometheus采集过程中会乱码,导制数据不显示);

HTTP请求配置如下:

在路径上配置任务WEB服务请求接口,此处示例路径为:http://127.0.0.1:8080/hello

添加监听器

聚合报告:展示每一轮压测的性能数据指标,如:样本数、平均值、中位数、90%百分人头、95%百分位、99%百分位、最小值、最大值、异常率、吞吐量、接收大小、发送大小等;

用表格查看结果:用于展示每个线程请求的列表

Prometheus Listener:配置Jmeter压测过程中,prometheus plugin插件可采集的指标;

Prometheus Listener配置如下:

指标说明:jmeter_summary(响应时间)、jmeter_count_total(取样器总数)、jmeter_success_total(成功总数)、jmeter_response_size(响应大小)、jmeter_success_ratio(成功率)、jmeter_latency_as_hist(网络延迟)、jmeter_idle_time(空闲时间)、jmeter_failure_total(错误总数)、jmeter_connect_time(链接时间)

列表头字段说明

  • Name(名称):指标的名称。
  • Help(帮助):指标的帮助消息。
  • Labels(标签):要应用于指标的以逗号分隔的标签列表。

         label是一个关键字。在 JMeter 中,它表示采样器的名称。

         code是一个关键字。这是结果的响应代码。

         此处可以使用 JMeter 变量。请参阅下面的部分。

  • Type(类型):您正在创建的指标类型。

        有关指标类型的信息,请参阅Prometheus 文档:Metric types | Prometheus

        SUCCESS_RATION(成功率)是该插件特有的内容。

  • Buckets or Quantiles(分位数桶):

        桶是逗号分隔的数字列表。可以是整数或小数。

        分位数是,用竖线分隔的逗号分隔的小数对|。第一个小数是分位数,第二个小数是错误等级。或者可以在分隔符之后指定用于计算分位数的窗口长度。样本:0.8,0.01|0.9,0.01|0.95,0.005|0.99,0.001;60

  • Listen To:用于收听示例或断言的下拉列表。这仅适用于 Counters 和 SuccessRatio 类型指标。
  • Measuring(测量):可以测量的所有内容的下拉菜单:响应时间、响应大小、空闲时间、连接时间、总数、失败总数、成功总数、成功率

压测示例

运行SpringBoot服务

此处不在额外演示工程创建过程,以《SpringBoot+Prometheus采集Metrics指标数据》为例【连接:SpringBoot+Prometheus采集Metrics指标数据_prometheus metrics-CSDN博客】

在SprinbBoot项目启动类中新增一个后台HTTP接口;

@RestController
@SpringBootApplication
public class ApplicationStart {public static void main(String[] args) {SpringApplication.run(ApplicationStart.class, args);}@RequestMapping("/hello")public String hello(){//为了演示指标显示的更全,每30s人为抛出一个异常Calendar calendar = Calendar.getInstance();if (calendar.get(Calendar.SECOND)  == 30) {throw new RuntimeException("error");}return "ok,200";}
}

右键》Run...,启动SpringBoog项目;

运行Jmeter压测

SpringBoog项目运行后,回到Jmeter工具中,点击绿色三角形,启动压测线程组,向已配置Http请求路径发起持续一段时间的压测请求;

点击聚合报告监听器,此时已有统计指标数据展示在列表中;

指标采集

Prometheus配置

在Prometheus安装目录下,找到prometheus.yml,添加Jmeter采集配置后(如下所示),重新启动Prometheus服务;

scrape_configs:- job_name: "prometheus"static_configs:- targets: ["localhost:9090"]- job_name: "spring"metrics_path: "/actuator/prometheus"static_configs:- targets: ["localhost:8080"]- job_name: "jmeter"static_configs:- targets: ["localhost:9270"]
  • prometheus:为自身采集指标连接配置
  • spring:为测试项目SpringBoot服务采集指标连接配置
  • jmeter:为Jmeter压测工具采集指标连接配置

采集服务查看

浏览器访问:http://localhost:9090/targets打开Prometheus管理平台Status》Targets菜单,Jemeter和SpringBoot服务已显示为up(上线状态);到此,Prometheus已成功对Jemeter服务和SpringBoot服务端访问与指标采集;

指标可视化

Grafana配置Dashboard

在Grafana中配置Prometheus为数据源后,此处省略安装过程.......(可参考《SpringBoot+Prometheus采集Metrics指标数据》为例【连接:SpringBoot+Prometheus采集Metrics指标数据_prometheus metrics-CSDN博客】),通过Grafana官网的dashboards共享仪表盘资源页面,找到“JMeter_Promethius_Grafana”,资源ID:14927

在Grafana》Dashboards页面,点击右上角“New”下拉按钮,找到“Import”选项;

进入仪表资源导入界面,在Import via grafana.com下文本框中输入:14927,点击Load加载即可;

在回到Dashboards页面,找到我们导入的仪表盘Jmeter_promethius_Grafana,点击即可展示完整的指标仪表;

Dashboard压测仪表盘

进入Grafana平台,点击菜单Dashboards,打开列表中的仪表盘“Jmeter_promethius_Grafana”,通过仪表盘清析的看见jmeter指标数据通过Prometheus已采集入库,通过动态或实时查询Prometheus刷新页面可视化仪表数据;

实际采集的指标比较多,并且Jmeter也支持扩展自定义指标,如果缺少需观测的指标仪表盘,可以直接在当前界面点击右上角的Add链接创建,此处不做详述,有兴趣可自行摸索;

再一次回到Dashboards菜单主页,点击通过《SpringBoot+Prometheus采集Metrics指标数据》为例【连接:SpringBoot+Prometheus采集Metrics指标数据_prometheus metrics-CSDN博客】,导入的SpringBoot共享仪表盘”SpringBoot APM Dashboard“,进入仪表盘页面,查看压测过程中Prometheus动态采集的SpringBoot服务指标数据;

到此已为项目建立了一套完整的压测监控平台,让系统服务压测过程变的更丝滑与指标可视化;

Prometheus远程写入

细心的朋友,可能会问到:Jmeter部署在本机,而Prometheus部署在远程公共服务上,让Prometheus访问本机服务拉取指标数据先不说可不可行,运维大佬也不会同意,那该怎么办?不用担心,Prometheus支持远程存储集成。

Prometheus远程存储

通过启用Prometheus公共服务远程写入接收器(启动过程中加入--web.enable-remote-write-receiver命令参数),开启写入接收器端点:/api/v1/write;

再在本机安装一个Prometheus来采集Jmeter指标,通过remote_write配置远程输出到Prometheus公共服务接收器端点上完成数据存储写入;

Prometheus官方文档关于remote_write(远程存储)介绍:

Configuration | Prometheus

Prometheus官方文档关于Remote storage integrations(远程存储集成)介绍:

Storage | Prometheus

-- 启用远程写入--web.enable-remote-write-receiver
./prometheus --config.file=./prometheus.yml --web.enable-remote-write-receiver

Prometheus本地推送

修改本地prometheus.yml文件在,末尾加上remote_write配置,写入到远程Prometheus服务存储里;重启本地Prometheus服务后,相当于本地Prometheus成为一个采集和转发服务;

remote_write:- url: http://192.168.1.100:9090/api/v1/write

如下,在远程公共Prometheus服务上查询本地jmeter压测指标数据在仪表上展示;

公共Prometheus服务成功将本地Prometheus推送的采集数据写入到远程存储中,剩下的就是在Grafana上导入上述Jmeter仪表大盘和SpringBoot仪表大盘;

结束

上述演示如何使用Jmeter+Prometheus+Grafana的集成过程,实际开发测试过程中,对于Jmeter压测中的配置、线池数、指标等,需要根据真实情况而定;本文只是演示讲解压测集成平台,不具有真实项目代表性,仅作参考;

通过前面的文章《SpringBoot+Prometheus采集Metrics指标数据》,演示了如何通过Prometheus采集SpringBoot项目的指标数据,对系统服务的运行进行监控;

再通过本文介绍Jmeter压测工具集成Prometheus插件,利用Prometheus采集Jmeter压测过程中的数据指标,输出到Grafana的Dashboard仪表盘中实时与动态展示,让开发人员与测试人员,对系统服务监控指标有清晰了解,能让服务管理者快速定位系统程序运行过程中的突发指标问题与性能瓶颈;从此以后,再也不怕甲方强烈要求你提供压测性能报告了,只需将相关压测指标数据一查,再将仪表大盘截份图,整成报告文档直接甩对方面前潇洒离场;

参考:

SpringBoot+Prometheus采集Metrics指标数据_prometheus metrics-CSDN博客

GitHub - johrstrom/jmeter-prometheus-plugin: A Prometheus Listener for Apache JMeter that exposes results in an http API

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/328328.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

27.哀家要长脑子了!

目录 1.316. 去除重复字母 - 力扣(LeetCode) 2. 1209. 删除字符串中的所有相邻重复项 II - 力扣(LeetCode 哎哟 烦死了 刚刚不小心退出又没保存 又要写一遍 烦死了 最近刷题不得劲啊 感觉这脑子没长一点 1.316. 去除重复字母 - 力扣&am…

VMware Workstation 安装CentOS Linux操作系统

1.我们已经下载好VMware 创建新的虚拟机 2.选择典型 3.安装程序光盘映像文件 4.配置用户名密码 5.命名虚拟机,并确定位置 6.如图所示设置 7.等待(时间会有点久) 8.输入密码登入账号

【软件测试】需求概念|软件的⽣命周期|开发模型|测试模型

目录 推荐 一、什么是需求 1.1 ⽤⼾需求 1.2 软件需求 二、开发模型 2.1 什么是“模型” 2.2 软件的⽣命周期 2.3 常⻅开发模型 2.3.1 瀑布模型 2.3.2 螺旋模型 2.3.3 增量模型、迭代模型 2.3.4 敏捷模型 2.4 测试模型 2.4.1 V模型 2.4.2 W模型(双V模型&#xff0…

恭喜莱佛士设计学院学生成功入围第13届Hiiibrand Awards

第十三届Hiiibrand Awards(国际品牌&传播设计奖)共收到来自40多个国家或地区的有效参赛作品共1723件。 经过激烈的竞争,我们莱佛士设计学院的三位同学成功入围提名(学生组),他们分别是来自多媒体设计专…

寻求发展+兼顾陪读|企业高管赴美国乔治梅森大学做访问学者

E经理拟去美国访学,想达到3个目的:结合本专业方向,扩展至跨学科研究领域;考察市场,寻求新的发展契机;携孩子出国读书,兼顾陪读,并希望尽早出国。最终我们为其落实的乔治梅森大学访问…

蓝桥杯成绩已出

蓝桥杯的成绩早就已经出来了,虽然没有十分惊艳 ,但是对于最终的结果我是心满意足的,感谢各位的陪伴,关于蓝桥杯的刷题笔记我已经坚持更新了49篇,但是现在即将会告别一段落,人生即将进入下一个规划。我们一起…

【新手入门】Github与Git使用教程

Github与Git 一、Github基础教程 1.1 基本操作 点击代码文件可以直接查看文件的内容,支持在线修改文件,只需要点击(文件内容)右上角的编辑按钮即可进行编辑。 README.md一般介绍项目的功能,用法,注意事项;有时还有…

银行ETL-监管报送

1104报表 1104报表主要包括:资产负债,表外业务、流动性风险、贷款质量、投向行业和地区、重点客户等。 1104报表分类 普通报表、特色类报表。 反洗钱 大额交易、可疑交易。标签分类:疑似犯罪、疑似毒品、疑似传销。 反洗钱—接口报表 数…

MySQL基础指南:从入门到精通

MySQL基础指南:从入门到精通 MySQL是一个流行的开源关系型数据库管理系统,被广泛用于Web应用程序和服务器端开发。本文将从MySQL的基本概念开始,逐步介绍MySQL的安装、常用操作、数据类型、查询语句等内容,帮助你快速入门MySQL数…

物联网设计竞赛_5_Jetson Nano连接摄像头解决运行卡顿问题

我在命令行用camorama命令打开摄像头的时候发现摄像头非常流畅 当我用python的cv2库打开摄像头的时候发现摄像头显示图片异常卡顿,在网上多方寻觅无果后,经过偶然尝试,我发现了卡顿原来是视频帧率问题 淘宝官方资料看我的摄像头只有30fps, …

##21 深入理解文本处理:使用PyTorch进行NLP基础操作

文章目录 前言简介文本预处理实现分词构建词汇表 文本向量化构建简单的文本分类模型结论 前言 在现代深度学习应用中,文本处理是不可或缺的一部分,尤其在自然语言处理(NLP)领域。借助强大的框架如PyTorch,我们可以更加…

超实用的excel进销存管理系统(75份),自带库存预警,直接用!

进销存(Inventory Management)是企业管理中的一个核心组成部分,它涉及到商品的采购(进货)、销售和存储(库存)等环节。有效的进销存管理可以帮助企业降低成本、提高效率和客户满意度。 1. 采购管…

LeetCode 题目 119:杨辉三角 II

❤️❤️❤️ 欢迎来到我的博客。希望您能在这里找到既有价值又有趣的内容,和我一起探索、学习和成长。欢迎评论区畅所欲言、享受知识的乐趣! 推荐:数据分析螺丝钉的首页 格物致知 终身学习 期待您的关注 导航: LeetCode解锁100…

Transformer - Self-Attention层的复杂度的计算

Transformer - Self-Attention层的复杂度的计算 flyfish 矩阵的维度 下面矩阵的维度是32即 3行,2列 6,10等都是矩阵里的元素 如果矩阵A的列数与矩阵B的行数相同,那么这两个矩阵可以相乘。即,若A是一个mn矩阵,B是一个np矩阵&am…

c++多态机制

多态 在 C 中,多态(Polymorphism)是一种面向对象编程的重要概念,它允许不同类的对象对同一消息做出不同的响应。具体来说,多态性允许基类的指针或引用在运行时指向派生类的对象,并且根据对象的实际类型来调…

ASP.NET在线二手交易系统的设计与实现

摘 要 随着当今社会信息技术的进步,基于互联网的各种应用日益受到了人们的重视,二手商品的重新利用也逐渐被人们关注,二手交易系统就在这种形势下产生了,它利用网络,改变了人们的购物方式。 本文是基于现代二手交易…

Java入门基础学习笔记22——程序流程控制

程序流程控制:控制程序的执行顺序。 程序有哪些执行顺序? 顺序、分支和循环。 分支结构: if、switch 循环: for、while、do-while 顺序结构是程序中最简单最基本的流程控制,没有特定的语法结构,按照代码…

SpringBoot上传文件到服务器(跨服务器上传)

目录 (一)上传文件到本地(windows) (二)上传文件到linux服务器 (三)跨服务器上传文件 (一)上传文件到本地(windows) 1.新建一个文件…

【OpenHarmony IDL工具规格及使用说明书】

OpenHarmony IDL工具规格及使用说明书 IDL接口描述语言简介 当客户端和服务器进行IPC通信时,需要定义双方都认可的接口,以保障双方可以成功通信,OpenHarmony IDL(OpenHarmony Interface Definition Language)则是一种…