K8S集群进行分布式负载测试

使用K8S集群执行分布式负载测试

本教程介绍如何使用Kubernetes部署分布式负载测试框架，该框架使用分布式部署的locust 产生压测流量，对一个部署到 K8S集群的 Web 应用执行负载测试，该 Web 应用公开了 REST 格式的端点，以响应传入的 HTTP POST 请求。

关于分布式负载测试的更多资料请查看：

  1. Distributed Load Testing Using Kubernetes

  2. GoogleCloudPlatform/distributed-load-testing-using-kubernetes: Distributed load testing using Kubernetes on Google Container Engine (github.com)

本文借鉴了官方的框架，在官方基础上做了简化修改，支持在本地搭建的K8S集群上进行分布式负载测试。

1. 测试使用的工作负载实例

下图展示了将客户端请求传送到应用的示例工作负载。

在这里插入图片描述

为对该交互进行建模，您可以使用 Locust 这一基于 Python、可跨多个目标路径分发请求的分布式负载测试工具。例如，Locust 可以将请求分发到 /login 和 /metrics 目标路径。工作负载在 Locust 中建模为一组任务。

2. locust分布式负载测试架构

该架构涉及到两个主要组件：

  • Locust 容器映像。
  • 容器编排和管理机制。

Locust 容器映像包含 Locust 软件，包含用于启动 Locust 服务和执行任务的脚本。为尽可能贴近真实客户端的情况，每个 Locust 任务都进行了加权。例如，每一千个客户端总请求发生一次注册。

Kubernetes提供容器编排和管理功能。使用 Kubernetes，您可以指定为负载测试框架奠定基础的容器节点的数量。此外，您还可以将负载测试工作器组织到 pod 中，并指定希望Kubernetes 持续运行的 pod 数量。

为了部署负载测试任务，请执行以下操作：

  1. 部署负载测试主节点。
  2. 部署一组负载测试工作器。您要使用这些负载测试工作器创建大量的流量，以便执行测试。

下图展示了使用示例应用进行负载测试的架构。主 Pod 提供用于操作和监控负载测试的网页界面。工作器 Pod 为接受测试的应用生成 REST 请求流量，并将指标发送到主 Pod。

在这里插入图片描述

2.1 关于负载测试主节点

Locust 主节点是执行负载测试任务的入口点。Locust 主节点配置指定了数个元素，包括容器使用的默认端口：

  • 8089 用于网页界面
  • 5557 和 5558 用于与工作器通信

2.2 关于负载测试工作器

Locust 工作器执行负载测试任务，可以使用单个 Deployment 来创建多个 pod。这些 pod 分布在 Kubernetes 集群中。

下图显示了 Locust 主节点与 Locust 工作器之间的关系。

在这里插入图片描述

3. 部署用于测试 Web 应用

sample-webapp 目录下包含一个简单的 web 测试应用，先构建为 docker 镜像。

$ git clone https://gitee.com/lldhsds/distributed-load-testing-using-k8s.git
$ cd distributed-load-testing-using-k8s/sample-webapp/# 构建镜像
$ docker build -t lldhsds/sample-webapp:20240625 .
# 查看构建的容器镜像
$ docker images | grep sample-webapp
lldhsds/sample-webapp     20240625       c4e7e59ac329   About a minute ago   928MB
# 打包镜像，将镜像导入到其他节点。也可以推送到镜像仓库。
$ docker save -o sample-webapp.tar lldhsds/sample-webapp:20240625

在 kubernetes 上部署 web应用，名字保持默认，sample-webapp

[root@k8s-master manifest-k8s]# pwd
/root/distributed-load-testing-using-k8s/manifest-k8s
# 镜像指向上面构建的镜像，其他信息如副本数根据自己的测试环境调整或者后续修改
[root@k8s-master manifest-k8s]# cat sample-webapp.yaml
kind: Deployment
apiVersion: apps/v1
metadata:name: sample-webapp
spec:selector:matchLabels:name: sample-webappreplicas: 2template:metadata:labels:name: sample-webappspec:containers:- name: sample-webappimage: lldhsds/sample-webapp:20240625ports:- name: webcontainerPort: 8000
---
kind: Service
apiVersion: v1
metadata:name: sample-webapplabels:name: sample-webapp
spec:ports:- port: 8000selector:name: sample-webapp[root@k8s-master manifest-k8s]# kubectl create -f sample-webapp.yaml[root@k8s-master manifest-k8s]# kubectl get pod
NAME                             READY   STATUS    RESTARTS   AGE
sample-webapp-65cdc749f7-hd8df   1/1     Running   0          61s
sample-webapp-65cdc749f7-j65sr   1/1     Running   0          61s
[root@k8s-master manifest-k8s]# kubectl get svc
NAME            TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)        AGE
kubernetes      ClusterIP   10.96.0.1        <none>        443/TCP        14d
sample-webapp   ClusterIP   10.99.23.223     <none>        8000/TCP       9m52s
# 测试应用正常响应
[root@k8s-master manifest-k8s]# curl http://10.99.23.223:8000
Welcome to the "Distributed Load Testing Using Kubernetes" sample web app

4. 部署 Locust 分布式压测组件

locust-master 和 locust-worker 使用同样的容器镜像。

4.1 构建 locust tasks 镜像

locust-master 和 locust-worker 使用的都是 locust-tasks 镜像，自定义locust测试脚本，构建为容器镜像：

[root@k8s-master locust]# pwd
/root/distributed-load-testing-using-k8s/locust
[root@k8s-master locust]# cd ..
[root@k8s-master distributed-load-testing-using-k8s]# cd locust/
[root@k8s-master locust]# ls
Dockerfile  locust-tasks
[root@k8s-master locust]# docker build -t lldhsds/locust-tasks:20240625 .
# 查看构建的镜像
[root@k8s-master locust]# docker images | grep locust-tasks
lldhsds/locust-tasks  20240625          0b08d2e86b76   About a minute ago   983MB
# 打包镜像导入到其他节点中
[root@k8s-master locust]# docker save -o locust-tasks.tar lldhsds/locust-tasks:20240625

4.2 部署 locust分布式测试环境

修改master cotnroller 和worker cotnroller 中 spec.template.spec.containers.image 字段，指向自己构建的镜像：

[root@k8s-master manifest-k8s]# pwd
/root/distributed-load-testing-using-k8s/manifest-k8s
[root@k8s-master manifest-k8s]# ls
locust-tasks.yaml  sample-webapp.yaml
[root@k8s-master manifest-k8s]# vim locust-tasks.yaml
...
image:  lldhsds/locust-tasks:20240625
...

部署locust-master和locust worker，根据需要修改worker节点的副本数：

[root@k8s-master manifest-k8s]# ls
locust-tasks.yaml  sample-webapp.yaml
[root@k8s-master manifest-k8s]# kubectl create -f locust-tasks.yaml
deployment.apps/locust-master created
service/locust-master created
deployment.apps/locust-worker created# 查看部署的容器
[root@k8s-master manifest-k8s]# kubectl get pod
NAME                             READY   STATUS    RESTARTS   AGE
locust-master-8b64d8b4c-fmjsz    1/1     Running   0          9m52s
locust-worker-84fc79566c-2gjqr   1/1     Running   0          9m51s
locust-worker-84fc79566c-6v8cz   1/1     Running   0          9m51s
sample-webapp-65cdc749f7-hd8df   1/1     Running   0          18m
sample-webapp-65cdc749f7-j65sr   1/1     Running   0          18m
[root@k8s-master manifest-k8s]# kubectl get svc
NAME            TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)                                        AGE
kubernetes      ClusterIP   10.96.0.1        <none>        443/TCP                                        14d
locust-master   NodePort    10.109.114.2     <none>        8089:30502/TCP,5557:31739/TCP,5558:32268/TCP   9m55s
sample-webapp   ClusterIP   10.99.23.223     <none>        8000/TCP                                       27m

4.3 指向locust性能测试

使用http://ip:30502即可访问locust web界面，可以看到已经有两个workder节点连接到master。

在这里插入图片描述

配置参数进行测试：

在这里插入图片描述

5. 总结

  1. 基于该架构可以实现K8S环境下应用的分布式压测，借助与K8S易于扩展的能力，可以很容易的调整压测端、应用端的副本数，实现扩缩容；
  2. 本文使用一套K8S集群承载locust分布式测试组件和业务应用，最佳实践情况下，可以将locust部署到单独的K8S集群中，对业务侧K8S进行压测。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/364706.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

固定翼无人机入门（二）

固定翼无人机入门（二）

这里讲讲无人机的路径跟踪控制相关知识&#xff0c;路径跟踪需要制导率&#xff08;平面&#xff09;和控制器&#xff0c;在无人机中较为常用的是L1制导率&#xff0c;不过L1制导率是控制无人机在二维平面上的转向&#xff0c;此处还引入总能量控制&#xff0c;控制无人机的高…
阅读更多...
uniapp加载打点点效果

uniapp加载打点点效果

uniapp加载打点点效果 背景实现思路代码实现尾巴 背景 为了增加系统的交互性&#xff0c;我们在加载数据时通常会增加一些loading动效&#xff0c;但是在某些场景下只需要一些简单文字提醒。比如说使用【加载中】或者【loading】等字段&#xff0c;但是写静态的字符又显得交互…
阅读更多...
electron线上更新

electron线上更新

一、安装electron-updater npm install --save electron-updater二、在main.js中引入使用 import { autoUpdater } from electron; if (!isDev) {const serverUrl https://your-update-server.com; // 自定义更新服务器地址或GitHub Releases地址autoUpdater.setFeedURL(${…
阅读更多...
SonicSense：声学振动丰富机器人的物体感知能力

SonicSense：声学振动丰富机器人的物体感知能力

在通过声学振动进行物体感知方面&#xff0c;尽管以往的研究已经取得了一些有希望的结果&#xff0c;但目前的解决方案仍然受限于几个方面。首先&#xff0c;大多数现有研究集中在只有少数&#xff08;N < 5&#xff09;基本物体的受限设置上。这些物体通常具有均质材料组成…
阅读更多...
面试突击：HashMap 源码详解

面试突击：HashMap 源码详解

本文已收录于&#xff1a;https://github.com/danmuking/all-in-one&#xff08;持续更新&#xff09; 数据结构 JDK1.8 之前 JDK1.8 之前 HashMap 采用 数组和链表 结合的数据结构。如下图&#xff1a; HashMap 将 key 的 hashCode 经过扰动函数处理过后得到 hash 值&#…
阅读更多...
学习平台推荐_菜鸟教程官网

学习平台推荐_菜鸟教程官网

网址&#xff1a; 菜鸟教程 - 学的不仅是技术&#xff0c;更是梦想&#xff01;菜鸟教程(www.runoob.com)提供了编程的基础技术教程, 介绍了HTML、CSS、Javascript、Python&#xff0c;Java&#xff0c;Ruby&#xff0c;C&#xff0c;PHP , MySQL等各种编程语言的基础知识。 同…
阅读更多...
汽车电子行业知识：什么是车载智能座舱

汽车电子行业知识：什么是车载智能座舱

1.什么是车载智能座舱 车载智能座舱是指搭载在汽车内部的一种智能系统&#xff0c;它集成了各种功能和技术&#xff0c;旨在提升驾驶体验、增加安全性和提供更多的便利。这种系统可以包括诸如智能驾驶辅助、信息娱乐、智能语音控制、车内环境控制、车辆健康监测等功能。通过车…
阅读更多...
动手学深度学习（Pytorch版）代码实践 -计算机视觉-46语义分割和数据集

动手学深度学习（Pytorch版）代码实践 -计算机视觉-46语义分割和数据集

46语义分割和数据集 # 图像分割和实例分割 """ 图像分割将图像划分为若干组成区域&#xff0c;这类问题的方法通常利用图像中像素之间的相关性。 它在训练时不需要有关图像像素的标签信息&#xff0c;在预测时也无法保证分割出的区域具有我们希望得到的语义。 图…
阅读更多...
Java养老护理助浴陪诊小程序APP源码

Java养老护理助浴陪诊小程序APP源码

&#x1f496;护理助浴陪诊小程序&#x1f496; 一、引言&#xff1a;养老新趋势&#x1f331; 在快节奏的现代生活中&#xff0c;养老问题逐渐成为了社会关注的焦点。如何为老年人提供便捷、贴心的服务&#xff0c;让他们晚年生活更加安心、舒适&#xff0c;是我们每个人都需…
阅读更多...
【工具分享】SQLmap

【工具分享】SQLmap

文章目录 工具介绍安装方式环境准备安装 sqlmap 工具介绍 sqlmap 是一个非常强大的自动化 SQL 注入工具&#xff0c;主要用于渗透测试和安全审计。它能够检测和利用 SQL 注入漏洞&#xff0c;进而访问数据库服务器。 GitHub&#xff1a;https://github.com/sqlmapproject/sql…
阅读更多...
【深度学习】tensorboard的使用

【深度学习】tensorboard的使用

目前正在写一个训练框架&#xff0c;需要有以下几个功能&#xff1a; 1.保存模型 2.断点继续训练 3.加载模型 4.tensorboard 查询训练记录的功能 命令&#xff1a; tensorboard --logdirruns --host192.168.112.5 效果&#xff1a; import torch import torch.nn as nn impor…
阅读更多...
ONLYOFFICE8.1新版本桌面编辑器测评

ONLYOFFICE8.1新版本桌面编辑器测评

什么是 ONLYOFFICE 文档 ONLYOFFICE 文档是一套功能强大的文档编辑器&#xff0c;支持编辑处理文本文档、电子表格、演示文稿、可填写的表单、PDF&#xff0c;可多人在线协作&#xff0c;支持 AI 集成。 该套件可在 Windows、Linux、Android 和 iOS上使用&#xff0c;包括网页…
阅读更多...
【three.js案例二】时空隧道

【three.js案例二】时空隧道

import * as THREE from ./build/three.module.js // 引入轨道控制器扩展库OrbitControls.js import { OrbitControls } from three/addons/controls/OrbitControls.js; // 引入dat.gui.js的一个类GUI import { GUI } from three/addons/libs/lil-gui.module.min.js;// 场景 co…
阅读更多...
4、matlab双目相机标定实验

4、matlab双目相机标定实验

1、双目相机标定原理及流程 双目相机标定是将双目相机系统的内外参数计算出来&#xff0c;从而实现双目视觉中的立体测量和深度感知。标定的目的是确定各个摄像头的内部参数&#xff08;如焦距、主点、畸变等&#xff09;和外部参数&#xff08;如相机位置、朝向等&#xff09…
阅读更多...
180Kg大载重多旋翼无人机技术详解

180Kg大载重多旋翼无人机技术详解

一、机体结构与材料 180Kg大载重多旋翼无人机在机体结构上采用了高强度轻量化设计。其主体框架采用航空铝合金材料&#xff0c;既保证了机体的结构强度&#xff0c;又减轻了整体重量。同时&#xff0c;关键部位如连接件、旋翼支撑臂等则采用碳纤维复合材料&#xff0c;以进一步…
阅读更多...
2024年6月29日 每周新增游戏

2024年6月29日 每周新增游戏

图吧工具箱: 全名图拉丁吧硬件检测工具箱,是开源、免费、绿色、纯净的硬件检测工具合集,专为图钉及所有DIY爱好者制作,包含常用硬件测试和检测工具,月工JS必备! iGuzheng爱古筝iguzheng古筝是一款可以在线模拟古筝练习的软件&#xff0c;用户可以直接在手机上练习古筝&#xff…
阅读更多...
Java实现RS485串口通信

Java实现RS485串口通信

博客链接地址 近期&#xff0c;我接到了一个任务&#xff0c;将报警器接入到Java项目中&#xff0c;而接入的方式就是通过RS485接入&#xff0c;本人之前可以说是对此毫无所知。不过要感谢现在的互联网&#xff0c;通过网络我查到了我想要知道的一切&#xff0c;这里记录下本次…
阅读更多...
数据结构-分析期末选择题考点（广义表）

数据结构-分析期末选择题考点（广义表）

莫道桑榆晚 为霞尚满天 数据结构-图期末选择题 数据结构-串、数组选择题 数据结构-排序选择题 数据结构-线性表、栈、队列、二叉树合集 契子✨ 广义表&#xff1a; <1>考点一&#xff1a;基本概念 广义表的基础概念 &#xff08;1&#xff09;什么是广义表 广义表&#…
阅读更多...
Qt开发报错：Q_INTERFACES Error: Undefined interface

Qt开发报错：Q_INTERFACES Error: Undefined interface

1、背景 VS2019qt5.12.10 从svn拉下来的项目&#xff0c;结果报错&#xff1a; Q_INTERFACES Error: Undefined interface 之前在VS的扩展中在线安装了qt插件&#xff0c; 安装了一半&#xff0c;比较慢&#xff0c;直接强行退出了。。 后来安装了qt官网的插件。。。。 2、报…
阅读更多...
PTA-线性表实验（JAVA）

PTA-线性表实验（JAVA）

题目1&#xff1a;Josephus环的问题及算法 【实验内容】 编程实现如下功能&#xff1a; 题意说明&#xff1a;古代某法官要判决n个犯人的死刑&#xff0c;他有一条荒唐的法律&#xff0c;将犯人站成一个圆圈&#xff0c;从第start个犯人开始数起&#xff0c;每数到第distance的…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023