docker的资源控制管理——Cgroups

目录

一、对CPU使用率的控制

1.1 CPU 资源控制

1.2 cgroups有四大功能 

1.3 设置cpu使用率上限

查看周期限制和cpu配额限制

进行cpu压力测试然后修改每个周期的使用cpu的时间,查看cpu使用率 

1.4 设置cpu资源占用比(设置多个容器时才有效)

创建两个容器设置比例然后压测

分别进入到c1和c2容器中,进行压测

1.5 设置容器绑定指定的cpu

二、内存资源控制

三、磁盘IO配额控制

3.1、限制Block IO

3.2、限制bps和iops进行限制


一、对CPU使用率的控制

1.1 CPU 资源控制

  • cgroups,是一个非常强大的linux内核工具,他不仅可以限制被 namespace 隔离起来的资源, 还可以为资源设置权重、计算使用量、操控进程启停等等。 所以 cgroups(Control groups)实现了对资源的配额和度量。

1.2 cgroups有四大功能 

  • 资源限制:可以对任务使用的资源总额进行限制
  • 优先级分配:通过分配的cpu时间片数量以及磁盘IO带宽大小,实际上相当于控制了任务运行优先级
  • 资源统计:可以统计系统的资源使用量,如cpu时长,内存用量等
  • 任务控制:cgroup可以对任务执行挂起、恢复等操作

1.3 设置cpu使用率上限

Linux通过CFS(completely fair scheduler,完全公平调度器)来调度各个进程对cpu的使用

  • 我们可以设置每个容器进程的调度周期,以及在这个周期内各个容器最多能使用多少cpu时间
  • 使用--cpu-period即可设置调度周期,默认100ms,设置范围为:1ms-1s,对应的--cpu-period的数值范围是1000~10000000
  • 使用--cpu-quota即可设置在每个周期内容器能使用cpu时间,默认无限制,设置的要求不能小于1ms,也就是--cpu-quota的值必须>=1000

查看周期限制和cpu配额限制

Linux通过CFS(Completely Fair Scheduler,完全公平调度器)来调度各个进程对CPU的使用。CFS默认的调度周期是100ms。
我们可以设置每个容器进程的调度周期,以及在这个周期内各个容器最多能使用多少 CPU 时间。使用 --cpu-period 即可设置调度周期,使用 --cpu-quota 即可设置在每个周期内容器能使用的CPU时间。两者可以配合使用。
CFS 周期的有效范围是 1ms~1s,对应的 --cpu-period 的数值范围是 1000~1000000。 周期100毫秒 
而容器的 CPU 配额必须不小于 1ms,即 --cpu-quota 的值必须 >= 100
docker run -itd --name test1 centos:7 /bin/bash
#启动一个centos:7镜像容器docker ps -a
#查看是否启动成功,并查看pid号cd /sys/fs/cgroup/cpu/docker/容器PID号
#进入到该容器的限制目录中cat cpu.cfs_quota_us
#查看每个周期的cpu最大限制时间cat cpu.cfs_period_us
#查看调度周期是多久//cpu.cfg_period_us: cpu 分配的周期(微秒,所以文件名中用us表示),默认为100000
//cpu.cfg_quota_us: 表示该cgroups限制占用的时间(微秒),默认为-1,表示为不限制,如果设为50000,表示占用50000/100000=50%的cpu
  • cpu.cfs_period_us:cpu分配的周期(微秒,所以文件名中用 us 表示),默认为100000。
  • cpu.cfs_quota_us:表示该cgroups限制占用的时间(微秒),默认为-1,表示不限制。 如果设为50000,表示占用50000/100000=50%的CPU。 

进行cpu压力测试然后修改每个周期的使用cpu的时间,查看cpu使用率 

docker run -itd --name test1 --cpu-quota 50000 centos:7 /bin/bash
#可以直接创建一个容器并设置每个周期cpu执行的时间
或者
docker run -itd --name test1 centos:7 /bin/bash
cd /sys/fs/cgroup/cpu/docker/【容器pid】
echo 50000 > cpu.cfs_quota_us
#也可以先创建一个容器,然后进入到文件中直接修改cpu执行的实际的文件名称docker exec -it 【容器id】 /bin/bash
#进入容器vim /cpu.sh
#!bin/bash
i=0
while true
do
let i++
done
#创建死循环脚本,为了进行cpu压力测试chmod +x /cpu.sh
./cpu.sh
#执行脚本

top
#查看这个容器中脚本占的多少的cpu资源

 

1.4 设置cpu资源占用比(设置多个容器时才有效)

Docker通过-cpu-share指定cpu份额,默认为1024,值为1024的倍数

  • 在有多个容器竞争CPU时,我们可以设置每个容器能会用的CPU时间比例,这个比例叫做共享权值
  • 共享式CPU资源,是按比例切分CPU资源,Docker默认每个容器的权值为1024.如果不指定或将其设置为0,都将使用默认值
  • 通过--cpu-share并不是cpu资源的绝对数量,而是一个相对的权重值,某个容器最终能分配到的cpu资源取决于它的cpu share占用所有容器cpu share综合的比例。换句话说,通过cpu share可以设置容器使用cpu的优先级

     

  比如,当前系统上一共运行了两个容器,第一个容器上权重是1024,第二个容器权重是512, 第二个容器启动之后没有运行任何进程,自己身上的512都没有用完,而第一台容器的进程有很多,这个时候它完全可以占用容器二的CPU空闲资源,这就是共享式CPU资源;如果容器二也跑了进程,那么就会把自己的512给要回来,按照正常权重1024:512划分,为自己的进程提供CPU资源。如果容器二不用CPU资源,那容器一就能够把容器二的CPU资源所占用,如果容器二也需要CPU资源,那么就按照比例划分。那么第一个容器会从原来使用整个宿主机的CPU变为使用整个宿主机的CPU的2/3;这就是CPU共享式,也证明了CPU为可压缩性资源。

创建两个容器设置比例然后压测

docker run -itd --name c1 --cpu-shares 512 centos:7
docker run -itd --name c2 --cpu-shares 1024 centos:7
#创建两个容器为c1和c2,若只有这两个容器,设置容器的权重,使得c1和c2的cpu资源占比为1/3和2/3

 

分别进入到c1和c2容器中,进行压测

分别进入容器,进行压力测试
yum install -y epel-release
yum install -y stress
stress -c 4				#产生四个进程,每个进程都反复不停的计算随机数的平方根

再开一个终端查看  docker stats 

 

1.5 设置容器绑定指定的cpu

–cpuset-cpus 是限制容器运行在指定的cpu核心

运行容器运行在哪个CPU核心上,例如主机有4个核心,cpu核心标识为0-3,我们一启动容器,只想让这台容器运行在标识0和3的两个CPU核心上,可以使用cpuset来指定。
docker run -itd --name c3 --cpuset-cpus 1,3 centos:7 /bin/bash
#启动一个容器,让它只使用内核1和内核3的资源docker exec -it 【容器id】 /bin/bash
#进入容器yum -y install epel-release
yum -y install stress
stress -c 8
#下载压力测试工具,并测试8个核

 

 

 

另一个终端top查看 

 

 

二、内存资源控制

与操作系统类似,容器可以使用的内存包括两部分:物理内存和Swap

Docker通过下面两组参数来控制容器内存的使用量

  • -m 或 --memory : 设置内存的使用限额, 例如:100MB,2GB
  • –memory-swap : 设置内存+swap 的使用限额 (这个必须要和–memory一起使用)

正常情况下,–memory-swap 的值包含容器可用内存和可用swap。所以 -m 300m --memory-swap=1g 的含义为:容器可用使用300M的物理内存,并且可以使用700M(1G-300)的swap。

  • 如果–memory-swap 设置为0 或者不设置,则容器可以使用的swap大小为-m值的两倍。
  • 如果 --memory-swap 的值和-m 值相同,则容器不能使用swap
  • 如果 --memory-swap值为-1。它表示容器程序使用的内存受限,而可以使用的swap空间不受限制(宿主机有多少swap空间该容器就可以使用多少)

 
 

docker run -itd --name m1 -m 200m --memory-swap=300M centos:7 /bin/bash
#允许该容器使用物理内存200M,swap空间为100mdocker stats
#查看容器使用资源情况

 

 

三、磁盘IO配额控制

Block IO 是另一种可以限制容器使用的资源,Block IO 指的是磁盘的读写,docker可通过设置权重,限制bps和iops的方式控制容器读写磁盘的带宽。

3.1、限制Block IO

默认情况下,所有容器能平等地读写磁盘,可以通过设置 --blkio-weight 参数来改变容器bliock IO 的优先级。–blkio-weight 与 --cpu-share类似,设置的是相对权重值,默认为500。

docker run -it --name b1 --blkio-weight 600 /bin/bashdocker run -it --name b2 --blkio-weight 300 /bin/bash#上面两条中,b1容器读写磁盘的带宽是b2容器的两倍

 

3.2、限制bps和iops进行限制

  • bps 是 byte per second ,表示每秒读写的数据量。
  • iops 是 io per second ,表示每秒的输入输出量(或读写次数)

可以通过以下参数控制容器的bps和iops

  • –device-read-bps,限制读某个设备的bps(数据量)
  • –device-write-bps,限制写某个设备的bps(数据量)
  • –device-read-iops,限制读某个设备的iops(次数)
  • –device-write-iops,限制写某个设备的iops(次数)

对写bps进行限制的测试

docker run -it --name b1 --device-write-bps /dev/sda:1mb centos:7 /bin/bash
#创建容器,限制写的数数据量为1mb/sdd if=/dev/zero of=test.out bs=1M count=10 oflag=direct
#测试是否是写入的1MB/S 

清理docker占用的磁盘空间

docker system prune -a#可以用于清理磁盘,删除关闭的容器、无用的数据卷和网络

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/94607.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

chatserver服务器开发笔记

chatserver服务器开发笔记 1 chatserver2 开发环境3 编译 1 chatserver 集群聊天服务器和客户端代码,基于muduo、redis、mysql实现。 学习于https://fixbug.ke.qq.com/ 本人已经挂github:https://github.com/ZixinChen-S/chatserver/tree/main 需要该项…

数学建模之“灰色预测”模型

灰色系统分析法在建模中的应用 1、CUMCM2003A SARS的传播问题 2、CUMCM2005A长江水质的评价和预测CUMCM2006A出版社的资源配置 3、CUMCM2006B艾滋病疗法的评价及疗效的预测问题 4、CUMCM2007A 中国人口增长预测 灰色系统的应用范畴大致分为以下几方面: (1)灰色关…

小航助学GESP_C++一级模拟测试卷第2套(含题库答题软件账号)

需要在线模拟训练的题库账号请点击 小航助学编程在线模拟试卷系统(含题库答题软件账号)_程序猿下山的博客-CSDN博客 需要在线模拟训练的题库账号请点击 小航助学编程在线模拟试卷系统(含题库答题软件账号)_程序猿下山的博客-CSD…

Python实战之使用Python进行数据挖掘详解

一、Python数据挖掘 1.1 数据挖掘是什么? 数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中,通过算法,找出其中的规律、知识、信息的过程。Python作为一门广泛应用的编程语言,拥有丰富的数据挖掘库&#…

2023年国赛数学建模思路 - 案例:最短时间生产计划安排

文章目录 0 赛题思路1 模型描述2 实例2.1 问题描述2.2 数学模型2.2.1 模型流程2.2.2 符号约定2.2.3 求解模型 2.3 相关代码2.4 模型求解结果 建模资料 0 赛题思路 (赛题出来以后第一时间在CSDN分享) https://blog.csdn.net/dc_sinor?typeblog 最短时…

恒运资本:机构持仓比例多少是重仓?

组织投资者关于股票商场的影响越来越大,其持股份额已成为点评一只股票好坏的重要目标之一。但组织持仓份额究竟多少才算是重仓呢?这涉及到许多要素,让我们从多个视点进行剖析。 1.不同组织的界说不同 首要需求注意的是,不同的组织…

Mr. Cappuccino的第63杯咖啡——Spring之AnnotationConfigApplicationContext源码分析

Spring之AnnotationConfigApplicationContext源码分析 源码分析 源码分析 以上一篇文章《Spring之Bean的生命周期》的代码进行源码分析 AnnotationConfigApplicationContext applicationContext new AnnotationConfigApplicationContext(SpringConfig02.class); LifeCycleBe…

uniapp编写微信小程序遇到的坑总结

1、阻止事件冒泡 使用uniapp开发微信小程序的时候,发现使用click.stop来阻止事件冒泡没有作用,点击了之后发现仍然会触发父组件或者祖先组件的事件。 在网上查阅,发现使用tap.stop才能阻止事件冒泡。 2、二维码生成 在网上找了很多&…

MQTT协议-EMQX技术文档-spring-boot整合使用--发送接收-消费

概念先行: mqtt与mq的关系 MQTT(Message Queuing Telemetry Transport)是一种基于发布/订阅模式的通信协议,它与MQ(Message Queue,消息队列)有一定的关联,但二者并不完全相同。 M…

重发布 路由策略

[r4]ip ip_prefix 15 permit 192.168.3.0 24. 根据序号插入规则 [r4]undo ip-prefix aa index 15. 删除规则 [r4]ip ip-prefix aa permit 192.168.3.0 24 less- equal 28 抓取目标网段为3.0掩码长度为24到28的路由 [r4]ip ip-prefix aa permit 192.168.3.0 24 greate…

【K8S系列】Weave Net 故障排除的常见问题和解决方案

写在前面 当使用 Weave Net 进行容器网络配置时,可能会遇到一些常见的故障情况。以下是一些常见问题及其解决方案: 问题列表 1 节点无法加入 Weave Net 网络 解决方案 检查节点之间的网络连通性,确保可以通过 IP 地址相互访问。 检查节点的…

大模型时代,图像描述生成(image caption)怎么走?

背景 Image caption是计算机视觉研究领域中的一个重要分支,其主要目标是根据输入的图像信息,生成相应的文字描述,从而完成对图像内容的准确描述。对于图像描述任务而言,最关键的是能够将图片中的信息以清晰准确的文字形式展现出来…

基于python+MobileNetV2算法模型实现一个图像识别分类系统

一、目录 算法模型介绍模型使用训练模型评估项目扩展 二、算法模型介绍 图像识别是计算机视觉领域的重要研究方向,它在人脸识别、物体检测、图像分类等领域有着广泛的应用。随着移动设备的普及和计算资源的限制,设计高效的图像识别算法变得尤为重要。…

Android DataStore:安全存储和轻松管理数据

关于作者:CSDN内容合伙人、技术专家, 从零开始做日活千万级APP。 专注于分享各领域原创系列文章 ,擅长java后端、移动开发、人工智能等,希望大家多多支持。 目录 一、导读二、概览三、使用3.1 Preferences DataStore添加依赖数据读…

解决校园网使用vmware桥接模式,虚拟机与物理机互相ping通,但是虚拟机ping不通百度的问题

遇到的问题 使用校园网时,桥接模式下,物理机可以ping通虚拟机,但是虚拟机ping不通主机 解决方法 在物理机中查看网络相关信息 ipconfig 修改虚拟机网卡信息 vim /etc/sysconfig/network-scripts/ifcfg-ens33 注意 /ifcfg-ens33需要根据…

批次效应分析

写在前面 批次效应分析,在医学芯片研究中,使用不同芯片进行分析时常用的数据处理方式,但是很多同学处理后的数据,存在不满意的情况。因此,到处咨询,各种查教程。今天,使用简短的时间分享该数据处理教程。 最终分析结果 欢迎投稿 小杜一直在分享自己平时学习笔记,因此…

Redis——三个特殊的数据类型+事务

概述 全称为远程字典服务。 Redis——基础篇(包含redis在云服务上的docker化安装和连接以及常用命令)_连接docker中的redis_北岭山脚鼠鼠的博客-CSDN博客 Redis能干什么? 1.内存存储、持久化,内存中是断电即失,因此持久化很重要&#xff…

golang中使用chan控制协程并发简单事例

func main() {processNum : 5ch : make(chan struct{}, processNum)for true {ch <- struct{}{}go func() {defer func() {<-ch}()fmt.Println("我是协程", time.Now().UnixNano())time.Sleep(time.Second * 5)}()} } 可以看到&#xff0c;这里每5s会执行一次带…

STM32/AT32 MCO管脚输出时钟配置

前言&#xff1a;最近在学以太网通讯&#xff0c;发现RMII接口配置的时钟管脚有MCU自己输出&#xff0c;想要看看是怎么输出的&#xff0c;对此进行记录 1、交接项目项目上使用的是PA8管脚来输出时钟50MHZ&#xff0c;提供给上面refclk。 先看手册 PA8的复用功能具备将MCU时钟…

拒绝摆烂!C语言练习打卡第三天

&#x1f525;博客主页&#xff1a;小王又困了 &#x1f4da;系列专栏&#xff1a;每日一练 &#x1f31f;人之为学&#xff0c;不日近则日退 ❤️感谢大家点赞&#x1f44d;收藏⭐评论✍️ 目录 一、选择题 &#x1f4dd;1.第一题 &#x1f4dd;2.第二题 &#x1f4…