压测实操--produce压测方案

作者：九月

环境信息：

操作系统centos7.9，kafka版本为hdp集群中的2.0版本。

Producer相关参数

使用Kafka自带的kafka-producer-perf-test.sh脚本进行压测，该脚本参数为：

请添加图片描述

在producer涉及到性能的关键因素可能会存在如下几个：

thread:测试时的单机线程数；

bath-size:处理的数据批次大小；

ack:主从同步策略，在生产消息时特别需要注意，是follower收到后返回还是只是leader收到后返回，这对于吞吐量影响颇大；

message-size:单条消息的大小，要在producer和broker中设置一个阈值，且它的大小范围对吞吐量也有影响；

compression-codec:压缩方式，目前有不压缩，gzip，snappy，lz4四种方式;

partition:分区数，主要是和线程复合来测试；

replication:副本数；

througout:所需要的吞吐量，单位时间内处理消息的数量，可能对处理消息的延迟有影响；

linger.ms：两次发送时间间隔，满足后刷一次数据。

produce测试

目前kafka堆内存为1G下进行

请添加图片描述

创建topic名称为test_kafka_perf1，partition=3、replication=3。

bath-size

bath-size=1000

./kafka-producer-perf-test.sh  --topic test_kafka_perf1     --num-records 100000000 --record-size 687 --producer-props bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667   batch.size=	1000   --throughput 30000

请添加图片描述

请添加图片描述

请添加图片描述

请添加图片描述

请添加图片描述

kafka指标

kafka仪表盘限制topic条件，获取仪表盘指标。

fetch请求延迟正增长,延迟在执行命令过程中逐渐增高。

请添加图片描述

produce请求延迟正增长，延迟在执行命令过程中逐渐增高

请添加图片描述

请添加图片描述

请添加图片描述

bath-size=2000

./kafka-producer-perf-test.sh  --topic test_kafka_perf1     --num-records 100000000 --record-size 687 --producer-props bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667   batch.size=2000   --throughput 30000

具体指标仪表盘与上述条件一致。

bath-size=10000

./kafka-producer-perf-test.sh  --topic test_kafka_perf1     --num-records 100000000 --record-size 687 --producer-props bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667   batch.size=10000   --throughput 30000

bath-size=20000

./kafka-producer-perf-test.sh  --topic test_kafka_perf1     --num-records 100000000 --record-size 687 --producer-props bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667   batch.size=20000   --throughput 30000

ack

ack=0

./kafka-producer-perf-test.sh  --topic test_kafka_perf1 --num-records  100000000 --record-size 687  --producer-props   bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667  batch.size=5000 acks=0   --throughput 30000

ack=1

./kafka-producer-perf-test.sh  --topic test_kafka_perf1 --num-records  100000000 --record-size 687  --producer-props   bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667  batch.size=5000 acks=1   --throughput 30000

ack=-1

./kafka-producer-perf-test.sh  --topic test_kafka_perf1 --num-records  100000000 --record-size 687  --producer-props   bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667  batch.size=5000 acks=-1   --throughput 30000

message-size

record-size =687

./kafka-producer-perf-test.sh  --topic test_kafka_perf1 --num-records 100000000 --record-size 687  --producer-props   bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667  batch.size=5000 acks=-1  --throughput 30000

record-size =454

./kafka-producer-perf-test.sh  --topic test_kafka_perf1 --num-records 100000000 --record-size 454  --producer-props   bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667  batch.size=5000 acks=-1  --throughput 30000

compression-codec

compression.type=none

batch.size=5000，并发量在30000

./kafka-producer-perf-test.sh  --topic test_kafka_perf1 --num-records  100000000 --record-size 687  --producer-props   bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667  batch.size=5000 acks=1 compression.type=none  --throughput 30000

batch.size=10000，并发量在50000

./kafka-producer-perf-test.sh  --topic test_kafka_perf1 --num-records  100000000 --record-size 687  --producer-props   bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667  batch.size=10000 acks=1 compression.type=none  --throughput 50000

compression.type=gzip

batch.size=5000，并发量在30000

./kafka-producer-perf-test.sh  --topic test_kafka_perf1 --num-records  100000000 --record-size 687  --producer-props   bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667  batch.size=5000 acks=1 compression.type=gzip  --throughput 30000

compression.type=snappy

batch.size=5000，并发量=30000

./kafka-producer-perf-test.sh  --topic test_kafka_perf1 --num-records  100000000 --record-size 687  --producer-props   bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667  batch.size=5000 acks=1 compression.type=lz4  --throughput 30000

compression.type=lz4

batch.size=5000，并发量=30000

./kafka-producer-perf-test.sh  --topic test_kafka_perf1 --num-records  100000000 --record-size 687  --producer-props   bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667  batch.size=5000 acks=1 compression.type=lz4  --throughput 30000

partition

partition=1

./kafka-topics.sh --create  --zookeeper mutong01:2181,mutong02:2181,mutong03:2181  --topic test_kafka_perf1  --partitions 1 --replication-factor 1

./kafka-producer-perf-test.sh  --topic test_kafka_perf1 --num-records  100000000 --record-size 687  --producer-props   bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667  batch.size=5000 acks=1 compression.type=lz4  --throughput 30000

partition=2

./kafka-topics.sh --create  --zookeeper mutong01:2181,mutong02:2181,mutong03:2181  --topic test_kafka_perf1  --partitions 2 --replication-factor 1

./kafka-producer-perf-test.sh  --topic test_kafka_perf2 --num-records  100000000 --record-size 687  --producer-props   bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667  batch.size=5000 acks=1 compression.type=lz4  --throughput 30000

partition=3

./kafka-topics.sh --create  --zookeeper mutong01:2181,mutong02:2181,mutong03:2181  --topic test_kafka_perf1  --partitions 3 --replication-factor 1

./kafka-producer-perf-test.sh  --topic test_kafka_perf3 --num-records  100000000 --record-size 687  --producer-props   bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667  batch.size=5000 acks=1 compression.type=lz4  --throughput 30000

replication

replication=1

./kafka-topics.sh --create  --zookeeper mutong01:2181,mutong02:2181,mutong03:2181  --topic test_kafka_perf1  --partitions 1 --replication-factor 1

./kafka-producer-perf-test.sh  --topic test_kafka_perf1 --num-records  100000000 --record-size 687  --producer-props   bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667  batch.size=5000 acks=1 compression.type=lz4  --throughput 30000

replication=2

./kafka-topics.sh --create  --zookeeper mutong01:2181,mutong02:2181,mutong03:2181  --topic test_kafka_perf4  --partitions 1 --replication-factor 2

./kafka-producer-perf-test.sh  --topic test_kafka_perf4 --num-records  100000000 --record-size 687  --producer-props   bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667  batch.size=5000 acks=1 compression.type=lz4  --throughput 30000

replication=3

./kafka-topics.sh --create  --zookeeper mutong01:2181,mutong02:2181,mutong03:2181  --topic test_kafka_perf5  --partitions 1 --replication-factor 3

./kafka-producer-perf-test.sh  --topic test_kafka_perf5 --num-records  100000000 --record-size 687  --producer-props   bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667  batch.size=5000 acks=1 compression.type=lz4  --throughput 30000

throughput

./kafka-topics.sh --create  --zookeeper mutong01:2181,mutong02:2181,mutong03:2181  --topic test_kafka_perf1  --partitions 1 --replication-factor

throughput=10000

./kafka-producer-perf-test.sh  --topic test_kafka_perf1 --num-records  100000000 --record-size 687  --producer-props   bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667  batch.size=5000 acks=1  --throughput 10000

throughput=30000

./kafka-producer-perf-test.sh  --topic test_kafka_perf1 --num-records  100000000 --record-size 687  --producer-props   bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667  batch.size=5000 acks=1  --throughput 30000

throughput=50000

./kafka-producer-perf-test.sh  --topic test_kafka_perf1 --num-records  100000000 --record-size 687  --producer-props   bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667  batch.size=5000 acks=1  --throughput 50000

throughput=80000

./kafka-producer-perf-test.sh  --topic test_kafka_perf1 --num-records  100000000 --record-size 687  --producer-props   bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667  batch.size=5000 acks=1  --throughput 80000

throughput=100000

./kafka-producer-perf-test.sh  --topic test_kafka_perf1 --num-records  100000000 --record-size 687  --producer-props   bootstrap.servers=172.16.120.30:6667,172.16.120.36:6667,172.16.120.37:6667  batch.size=5000 acks=1  --throughput 100000

结论

使用kafka自带的kafka-producer-perf-test.sh脚本对集群生产消息情况进行压测，根据业务情况设置要测试的num-records条数。不同的变量因素，通过修改其中一个变量条件，固定其余变量值，获取对应的吞吐速率。比如修改batch-size条件，其他变量保持不变，根据结果就可以获取每秒的生产消息大小和每秒的消费消息条数等指标，整理不同条件下的指标结果，形成曲线就可以观察具体的消费趋势。

比如batch-size条件下：

batch-sizeackmessage-sizecompression-codecpartitionreplicationthroughputmb/smsgnum/s
10000687none333000013.117550
20000687none333000021.630540
50000687none333000021.230044
100000687none333000021.129987
200000687none33300002130005

请添加图片描述

更多技术信息请查看云掣官网https://yunche.pro/?t=yrgw

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/383935.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

DetectorRS

DetectorRS

文章目录 AbstractMethodExperimentAblation StudyMain Results Conclusion未来展望 link code Abstract 本文介绍了一种新的对象检测器——DetectoRS，通过在骨干网络设计中引入递归特征金字塔和可切换的空洞卷积机制，实现了出色的性能提升。在宏观层面…
阅读更多...
谷粒商城实战笔记-54-商品服务-API-三级分类-拖拽效果

谷粒商城实战笔记-54-商品服务-API-三级分类-拖拽效果

文章目录 一，54-商品服务-API-三级分类-修改-拖拽效果1，el-tree控件加上允许拖拽的属性2，是否允许拖拽3，完整代码 一，54-商品服务-API-三级分类-修改-拖拽效果 本节的主要内容是给三级分类树形结构加上拖拽功能&#…
阅读更多...
四、GD32 MCU 常见外设介绍 (4) EXTI 中断介绍

四、GD32 MCU 常见外设介绍 (4) EXTI 中断介绍

4.EXTI 中断介绍 EXTI(中断/事件控制器)包含多个相互独立的边沿检测电路并且能够向处理器内核产生中断请求或唤醒事件。 EXTI 有三种触发类型：上升沿触发、下降沿触发和任意沿触发。 EXTI中的每一个边沿检测电路都可以独立配置和屏蔽。 4.1.GD32 EXTI 外设原理简介…
阅读更多...
如何使用C#自制一个Windows安装包

如何使用C#自制一个Windows安装包

原文链接：https://www.cnblogs.com/zhaotianff/p/17387496.html 以前都在用InstallShield制作安装包，基本需求是能满足的，但也有一些缺点： 1、界面不能完全定制 2、不能直接调用代码里的功能 平常使用一些其它软件，…
阅读更多...
【基础算法总结】优先级队列

【基础算法总结】优先级队列

优先级队列 1.最后一块石头的重量2.数据流中的第 K 大元素4.前K个高频单词4.数据流的中位数 点赞👍👍收藏🌟🌟关注💖💖 你的支持是对我最大的鼓励，我们一起努力吧!😃😃 1…
阅读更多...
FPGA开发——LED流水灯实现先从左往右流水，再从右往左流水

FPGA开发——LED流水灯实现先从左往右流水，再从右往左流水

一、概述 我们在设计完一个方向的流水灯的设计时，总是会想实现让流水灯倒着流水回去的设计，这里我也是一样，实现这种设计的方法有很多种，其中就有直接使用case语句将所有可能包含进去编写，这种设计方法是最简单的&…
阅读更多...
leetcode日记（51）不同路径Ⅱ

leetcode日记（51）不同路径Ⅱ

和上一道题（无障碍物的最短路径）很像，但事实上比上一题多了优化方法 根据上一题改的代码如下，添加了对障碍物的判定，如果有障碍物则将数组值设为0。 class Solution { public:int uniquePathsWithObstacles(vector&l…
阅读更多...
Origin制作线性拟合回归图

Origin制作线性拟合回归图

选中数据，点下方散点图 调整散点颜色 在分析中打开线性拟合回归 添加文本 显示上轴
阅读更多...
算法 —— 暴力枚举

算法 —— 暴力枚举

目录 循环枚举 P2241 统计方形（数据加强版） P2089 烤鸡 P1618 三连击（升级版） 子集枚举 P1036 [NOIP2002 普及组] 选数 P1157 组合的输出 排列枚举 P1706 全排列问题 P1088 [NOIP2004 普及组] 火星人 循环枚举 顾名思…
阅读更多...
keil调试SH79F7416

keil调试SH79F7416

仿真器JET51A, 调试设置 选择器件 再次点击调试就一切正常啦
阅读更多...
快速汇总公司产品涉及的项目（服务、站点）

快速汇总公司产品涉及的项目（服务、站点）

文章目录 引言I 快速汇总公司产品涉及的项目II 常用工具jar包转成exe应用远程操作常用命令III 把应用做成windows服务在后台运行借助工具`instsrv.exe`和`srvany.exe`把应用做成windows服务的步骤SysWOW64 文件夹的作用引言 需求：汇总 平台涉及站点和服务信息 I 快速汇总公司…
阅读更多...
SkyWalking入门搭建【apache-skywalking-apm-10.0.0】

SkyWalking入门搭建【apache-skywalking-apm-10.0.0】

Java学习文档 视频讲解 文章目录 一、准备二、服务启动2-1、Nacos启动2-2、SkyWalking服务端启动2-3、SkyWalking控制台启动2-4、自定义服务接入 SkyWalking 三、常用监控3-1、服务请求通过率3-2、服务请求拓扑图3-3、链路 四、日志配置五、性能剖析六、数据持久化6-1、MySQL持…
阅读更多...
MySQL SQL 编程练习

MySQL SQL 编程练习

目录 创建表并插入数据 查看表结构 创建触发器 创建INSERT 触发器 创建DELETE 触发器 创建更新触发器 创建存储过程 创建提取emp_new表所有员工姓名和工资的存储过程s1 创建存储过程s2，实现输入员工姓名后返回员工的年龄 创建一个存储过程s3，有2个参数&…
阅读更多...
Pytorch使用教学5-视图view与reshape的区别

Pytorch使用教学5-视图view与reshape的区别

有同学后台留言问为什么view有时可对张量进行形变操作，有时就会报错？另外它和reshape功能好像一致，有什么区别呢？本文就带你了解PyTorch中视图的概念。 在PyTorch中对张量进行形变操作时，很多同学也会使用view方法&am…
阅读更多...
3.2、数据结构-数组、矩阵和广义表

3.2、数据结构-数组、矩阵和广义表

数组结构 数组是定长线性表在维度上的扩展,即线性表中的元素又是一个线性表。N维数组是一种“同构”的数据结构,其每个数据元素类型相同、结构一致。 一个m行n列的数组表示如下: 其可以表示为行向量形式（一行一行的数据）或者列向量形式（一…
阅读更多...
Windows搭建Nginx代理本地盘的文件 共享本地文件

Windows搭建Nginx代理本地盘的文件 共享本地文件

一、查询自己的内网IP和外网IP的方法，以及判断是否直接连接到公网 内网IP，即局域网IP： 打开cmd窗口， 输入 ipconfig 后回车 外网IP，即公网IP： 打开cmd窗口，输入curl ifconfig.me指令访问ifconfi…
阅读更多...
PE文件（十二）导入表

PE文件（十二）导入表

导入表 导入表的引入 当一个PE文件（如.dll/.exe等）需要使用别的模块的函数，也叫做依赖某模块，就需要一个清单来记录使用的模块（一般为.dll文件，为方便理解，以后我们将模块都认为是.dll文件&am…
阅读更多...
Python写UI自动化--playwright(通过UI文本匹配实现定位)

Python写UI自动化--playwright(通过UI文本匹配实现定位)

本篇简单拓展一下元素定位技巧，通过UI界面的文本去实现定位 目录 匹配XPath 匹配文本元素 .count()统计匹配数量 处理匹配文本返回多个元素 1、使用.nth(index)选择特定元素: 2、获取所有匹配的元素并遍历: 3、错误处理: 匹配XPath 比如我们要定位到下图的…
阅读更多...
VScode连接虚拟机运行Python文件的方法

VScode连接虚拟机运行Python文件的方法

声明：本文使用Linux发行版本为rocky_9.4 目录 1. 在rocky_9.4最小安装的系统中，默认是没有tar工具的，因此，要先下载tar工具 2. 在安装好的vscode中下载ssh远程插件工具 3. 然后连接虚拟机 4. 查看python是否已经安装 5. 下载…
阅读更多...
Linux网络：传输层协议TCP(一)

Linux网络：传输层协议TCP(一)

目录 一、TCP协议的定义 二、确认应答机制ACK 三、序号、确认序号 四、超时重传机制 一、TCP协议的定义 TCP 全称为 "传输控制协议(Transmission Control Protocol"). 人如其名, 要对数据的传 输进行一个详细的控制; TCP 协议段格式 • 源/目的端口号: 表示数据…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023