Linux性能调优,还可以从这些方面入手

        linux是目前最常用的操作系统,下面是一些常见的 Linux 系统调优技巧,在进行系统调优时,需要根据具体的系统负载和应用需求进行调整,并进行充分的测试和监控,以确保系统的稳定性和性能。同时,调优过程中要谨慎操作,避免对系统造成不良影响。

        其主要调优方向,大概包含几个方面:内存、CPU、i/o  网络调优以及安全性和资源限制。

一、内存调优

1、调整内核参数

        vm.swappiness:控制内核将内存页换出到交换空间的倾向。值越低,系统越倾向于保留内存中的页,减少对交换空间的使用。

        默认情况下,vm.swappiness设置为60,在服务器上,当内存使用率达到40%时就可能会使用交换空间。当你的服务器的RAM充足时,这个值可以适当降低,设置为10或更低,以减少不必要的交换操作。

        修改方法:编辑/etc/sysctl.conf文件,写入vm.swappiness=10

        运行命令sysctl -p使更改生效。

        vm.vfs_cache_pressure:调整内核回收用于目录和 inode 缓存的内存的倾向。较高的值会使内核更积极地回收缓存,释放内存用于其他用途。默认值为 100,可以根据系统负载和内存需求进行调整。

2、使用大页内存

        大页内存可以减少页表的大小,提高内存访问效率。对于内存密集型应用,如数据库,可以显著提高性能。
        启用大页内存需要在系统启动时进行配置,并在应用程序中进行相应的设置。

(1)在Linux系统中,可以通过下面的命令来查看系统是否支持大页内存。

cat /proc/meminfo | grep Hugepagesize

如果输出了大页的大小信息,则说明系统支持大页内存

(2)配置大页内存

临时配置:

sysctl -w vm.nr_hugepages=<number_of_hugepages>

其中 <number_of_hugepages> 是要分配的大页数量,例如大页大小设置为4096

永久配置:

在 /etc/sysctl.conf 文件中添加以下参数:

vm.nr_hugepages=<number_of_hugepages>

保存文件后,使其生效:

sysctl -p

二、CPU 调优

1、调整进程优先级

        使用 nice 和 renice 命令可以调整进程的优先级。较低的优先级数值表示更高的优先级。

        对于关键任务或对响应时间要求较高的进程,可以提高其优先级,确保它们获得更多的 CPU 时间。

        优先级的值范围是 -20 到 19,数值越小,优先级越高。默认情况下,进程以优先级 0 启动。

nice 基本语法:

nice [-n adjustment] command [arguments]

以优先级 5 启动一个名为 test 的程序:nice -n 5 test

renice  命令用于调整正在运行的进程的优先级。

基本语法:

renice priority [-p] pid... 或 renice priority [-g] pgrp... 或 renice priority [-u] user...
  • 其中,priority 是要设置的新优先级,pid 是进程 ID,pgrp 是进程组 ID,user 是用户名。
  • 例如,将进程 ID 为 1234 的进程优先级调整为 10:renice 10 -p 1234

注意:只有 root 用户可以将进程优先级设置为负值,以提高进程的优先级,普通用户只能减低进程的优先级或者保持不变。

2、绑定 CPU 核心

        通过 taskset 命令或在启动应用程序时指定 CPU 亲和性,可以将特定的进程绑定到特定的 CPU 核心上。

        这可以避免进程在不同的 CPU 核心之间频繁切换,提高 CPU 缓存的命中率,从而提高性能。

查询进程的CPU亲和性:

taskset -p <pid>

<pid> 是进程的ID 

设置进程的CPU亲和性:

taskset -cp <cpuset> <pid>

<cpuset> 是一个用逗号分隔的CPU核心列表, <pid> 是进程的ID

例如:将进程 ID 为 1234 的进程绑定到 CPU 核心 0 和 1 上运行:taskset -cp 0,1 1234

启动新进程时设置CPU亲和性:

taskset <cpuset> <command> [arguments]

<cpuset> 是一个用逗号分隔的 CPU 核心列表,<command> 是要执行的命令,<arguments> 是命令的参数。

例如,启动一个名为 test 的程序,并将其绑定到 CPU 核心 2 和 3 上运行:taskset 2,3 test

三、磁盘 I/O 调优

1、使用 SSD 硬盘

        SSD 硬盘具有更快的读写速度和更低的访问延迟,可以显著提高系统的磁盘 I/O 性能。

        如果可能,可以将关键数据和频繁访问的文件存储在 SSD 上。

对于SSD存储,通常推荐使用none或deadline调度器;对于HDD,则cfq或bfq可能更适合。
检查当前使用的调度器:

cat /sys/block/sda/queue/scheduler

更改调度器:

echo deadline > /sys/block/sda/queue/scheduler

禁用访问时间更新:
        在挂载选项中加入noatime以避免每次文件被读取时都更新访问时间戳,这样可以减少不必要的磁盘I/O。
        编辑/etc/fstab,修改相关分区条目,例如UUID=... / ext4 defaults,noatime 0 1

2、调整文件系统参数

        对于不同的文件系统,可以调整一些参数来优化磁盘 I/O 性能。例如,对于 ext4 文件系统,可以调整 block sizeinode size 等参数。

Ext 文件系统系列(如 Ext4)

  • 在创建文件系统时,可以使用特定的工具和选项来调整块大小和其他参数。例如,使用 mkfs.ext4 命令时,可以通过 -b 选项指定块大小,如 -b 4096 设置块大小为 4KB。
  • inode size 通常不是一个直接可配置的选项,但可以通过调整文件系统的总体布局和存储策略来间接影响 inode 的使用和分配。

XFS 文件系统

  • 使用 mkfs.xfs 命令创建文件系统时,可以通过 -b size= 选项设置块大小,例如 -b size=8192 设置块大小为 8KB。
  • inode 大小通常是根据文件系统的创建参数和存储需求自动调整的,一般情况下不太容易直接指定具体的 inode size。

3、使用磁盘缓存

        Linux 系统的磁盘缓存可以提高磁盘 I/O 的性能。可以通过调整内核参数 vm.dirty_background_ratio 和 vm.dirty_ratio 来控制磁盘缓存的行为。

        vm.dirty_background_ratio 表示当内存中的脏页达到系统内存的一定比例时,内核开始将脏页异步写入磁盘。

        vm.dirty_ratio 表示当内存中的脏页达到系统内存的更高比例时,内核将阻塞所有的写操作,直到脏页被写入磁盘。

临时调整:

sysctl vm.dirty_background_ratio=10
sysctl vm.dirty_ratio=20

永久调整:

  编辑  /etc/sysctl.conf  文件,添加下面设置:

vm.dirty_background_ratio = 10
vm.dirty_ratio = 20

保存文件后,使用 sudo sysctl -p 命令使更改生效。

四、网络调优

1、调整网络缓冲区大小

  • 可以通过调整内核参数 net.core.rmem_maxnet.core.wmem_maxnet.ipv4.tcp_rmem 和 net.ipv4.tcp_wmem 来调整网络接收和发送缓冲区的大小。
  • 较大的缓冲区可以提高网络吞吐量,但也可能会增加内存的使用。

net.core.rmem_max:
        定义了内核套接字接收缓冲区的最大大小。这个参数决定了系统在接收网络数据时可以使用的最大缓冲区空间。
net.core.wmem_max:
        定义了内核套接字发送缓冲区的最大大小。它控制了系统在发送网络数据时可以使用的最大缓冲区空间。
net.ipv4.tcp_rmem:
        这个参数是一个包含三个整数值的数组,用于设置 TCP 接收缓冲区的最小、默认和最大大小。例如,4096 87380 6291456表示最小接收缓冲区大小为 4096 字节,默认大小为 87380 字节,最大大小为 6291456 字节。
net.ipv4.tcp_wmem:
        与net.ipv4.tcp_rmem类似,也是一个包含三个整数值的数组,用于设置 TCP 发送缓冲区的最小、默认和最大大小。

临时调整:

sysctl -w net.core.rmem_max=<value>
sysctl -w net.core.wmem_max=<value>
sysctl -w net.ipv4.tcp_rmem=<min>,<default>,<max>
sysctl -w net.ipv4.tcp_wmem=<min>,<default>,<max>

永久调整:

编辑  /etc/sysctl.conf  文件,添加下面设置:

     net.core.rmem_max=<value>net.core.wmem_max=<value>net.ipv4.tcp_rmem=<min>,<default>,<max>net.ipv4.tcp_wmem=<min>,<default>,<max>

保存文件后,使用sudo sysctl -p命令使更改生效。

2、启用网络流量控制

        使用 tc(Traffic Control)工具可以对网络流量进行整形和控制。可以限制特定的网络接口或 IP 地址的带宽使用,确保关键服务的网络带宽得到保障。

3、优化网络协议栈

        对于特定的网络应用,可以调整网络协议栈的参数来提高性能。例如,对于 Web 服务器,可以调整 tcp_tw_reuse 和 tcp_tw_recycle 等参数来优化 TCP 连接的回收和重用。

tcp_tw_reuse:
        这个参数允许在 TIME_WAIT 状态的连接被重新用于新的连接。当设置为 1 时,内核会在安全的情况下(例如连接的时间戳符合要求等)将处于 TIME_WAIT 状态的连接重新分配给新的连接请求。
        启用这个参数可以减少 TIME_WAIT 状态的连接数量,从而节省系统资源,特别是在高并发的服务器环境中。
tcp_tw_recycle:
        这个参数开启快速回收 TIME_WAIT 状态的连接。当设置为 1 时,内核会更快地回收 TIME_WAIT 状态的连接,以减少连接资源的占用。
        但是,在一些网络环境中,开启这个参数可能会导致连接问题,特别是在网络地址转换(NAT)环境下,可能会导致数据包丢失和连接失败。

临时调整:

sysctl -w net.ipv4.tcp_tw_reuse=1
sysctl -w net.ipv4.tcp_tw_recycle=1

永久调整:

编辑  /etc/sysctl.conf  文件,添加下面设置:

net.ipv4.tcp_tw_reuse=1
net.ipv4.tcp_tw_recycle=1

保存文件后,使用sudo sysctl -p命令使更改生效。

五、安全性和资源限制

        一般用在需要确保只有特定用户可以执行某些敏感操作,同时控制每个用户的资源消耗。

1、使用ulimit限制资源

        可以在用户的shell初始化脚本中设置ulimit指令,例如限制打开文件数、进程数等。

在 /etc/security/limits.conf 中定义全局或用户特定的资源限制。

临时调整:

ulimit -n 2048

永久调整:

编辑  /etc/security/limits.conf   文件添加设置:

/etc/security/limits.conf文件的每一行都包含四个字段,分别是:

  1. <domain>:指定限制的范围,可以是用户名、用户组名或通配符*表示全局范围。
  2. <type>:限制的类型,可以是soft(软限制)、hard(硬限制)或-(同时设置软限制和硬限制)。
  3. <item>:要限制的资源项,例如nofile(最大打开文件数)、nproc(最大进程数)等。
  4. <value>:资源限制的值。

例如:以下行表示将用户myuser的最大打开文件数软限制设置为 1024,硬限制设置为 2048:

myuser soft nofile 1024
myuser hard nofile 2048

保存文件后,通常需要用户重新登录才能生效。已经运行的进程,这些限制不会立即生效。

2、利用cgroups管理资源

cgroups(Control Groups)提供了一种机制来限制、记录和隔离进程组的资源使用情况。

创建cgroup目录结构并在其中设置相应的资源控制策略,如CPU份额、内存上限等。

创建cgroup目录:

        可以在 /sys/fs/cgroup/ 目录下创建。例如,创建一个名为  test 的 cgroup:

mkdir /sys/fs/cgroup/mygroup

设置资源控制策略:

        CPU份额控制:

                CPU 份额表示在多个 cgroup 之间分配 CPU 资源的比例。

                例如,设置CPU 份额为512 (相对权重):

echo 512 > /sys/fs/cgroup/mygroup/cpu.weight

        内存上限控制:

                设置内存上限可以限制cgroup中进程使用的内存总量:

                例如:设置内存上限为1GB :

echo 1073741824 > /sys/fs/cgroup/mygroup/memory.limit_in_bytes

将进程添加到cgroup 

        找到要添加到 cgroup 的进程 ID(PID)。可以使用命令如pstop来查找进程 ID。

将进程添加到cgroup

echo <pid> > /sys/fs/cgroup/mygroup/tasks

注意:在操作cgroups 时,可能需要使用管理员权限,确保你有足够的权限来创建和修改 cgroup 目录及设置资源控制策略。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/447771.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【云原生技术】Docker容器进阶知识

文章目录 namespace概述一、namespace的基本概念二、namespace的主要作用三、namespace的类型四、namespace的操作五、namespace在容器技术中的应用 cgroup一、cgroup的基本概念二、cgroup的主要功能三、cgroup的子系统介绍四、cgroup的应用场景五、cgroup的使用与管理 cgroup和…

.ts文件编译为.js文件

.ts文件如何编译为.js文件 首先安装了tsc $ npm install -g typescript可以使用如下命令检查是否安装tsc,出现版本号则说明安装成功 tsc -v创建.ts文件 创建 1.ts&#xff0c;编写代码如下&#xff1a; function test(a:string):string{return a }编译为.js文件 执行如下…

Spring Cloud环境搭建

一.开发环境推荐 JDK建议使用JDK17。 因为SpringCloud是基于SpringBoot进行开发的&#xff0c;SpringBoot3.X以下的版本&#xff0c;Spring官方已经不再维护了&#xff08;还可以继续使用&#xff09;&#xff0c;SpringBoot3.X的版本使用的JDK版本基线是17&#xff0c;而且1…

IPv 4

IP协议 网络层主要由IP&#xff08;网际协议&#xff09;和ICMP&#xff08;控制报文协议&#xff09;构成&#xff0c;对应OSI中的网络层&#xff0c;网络层以实现逻辑层面点对点通信为目的。目前应用最广泛的IP协议为IPv4 基本概念给出 主机&#xff1a;配有IP地址但不具有路…

live2d 实时虚拟数字人形象页面显示,对接大模型

live2dSpeek 测试不用gpu可以正常运行 https://github.com/lyz1810/live2dSpeek 运行的话还需要额外下载https://github.com/lyz1810/edge-tts支持语音 ## 运行live2dSpeek >npm install -g http-server >http-server . ## 运行edge-tts python edge-tts.py

SpringMVC(看这一篇就够了)

目录&#xff1a; SpringMVC什么是MVC模型SpringMVC案例SpringMVC执行流程SpringMVC封装参数简单数据类型简单对象关联对象简单数据类型集合Map集合参数类型转换器编码过滤器Servlet原生对象 SpringMVC处理响应视图解析器返回值为void返回值为ModelAndView向request域设置数据向…

止步阿里一面。。。

时间过的真快&#xff0c;转眼间国庆已经过去一周了&#xff0c;又到了新的一周&#xff0c;继续分享最新的面经。 今天分享的是粉丝在阿里巴巴的一面&#xff0c;考察了数据库、redis、kafka、ES和项目&#xff0c;数据库和redis不用多说&#xff0c;项目必用面试必考&#x…

【Python时序数据系列】基于LSTM模型实现时序数据二分类(案例+源码)

这是我的第366篇原创文章。 一、引言 前面我介绍了单变量时序预测和多变量时序预测&#xff0c;都是回归任务。 相关链接&#xff1a; 时序预测系列文章 本文将介绍时序分类任务-基于LSTM模型进行时序数据二分类。 二、实现过程 2.1 准备数据 df1 pd.read_table("t…

python yolov8半自动标注

首先标注一部分图片&#xff0c;进行训练&#xff0c;生成模型&#xff0c;标注文件为xml方便后面统一做处理。 1、标注数据&#xff08;文件为xml, 转为txt用于训练&#xff0c;保留xml标签文件&#xff09; 2、模型训练&#xff08;训练配置、训练代码、&#xff09; 3、使用…

ShardingJDBC分库分表实战

目录 一、第一个分库分表的案例 1、快速搭建基础JDBC应用 2、引入ShardingJDBC快速实现分库分表 二、理解分库分表的核心概念 1、ShardingSphere分库分表的核心概念 2、垂直分片和水平分片 三、ShardingJDBC常见数据分片策略实战 1、INLINE简单分片 2、STANDARD标准分片…

ubuntu下实时查看CPU,内存(Mem)和GPU的利用率

一、实时查看CPU和内存&#xff08;Mem&#xff09;利用率 htop官网&#xff1a;htop - an interactive process viewer sudo apt-get install htop htop ①. 顶部状态栏&#xff08;System Metrics Overview&#xff09; 这个区域显示系统的全局资源使用情况&#xff0c;包括…

深入解析 Harris 角点检测算法:从孔径问题到响应函数的完整推导

在图像处理中&#xff0c;角点是非常重要的特征。为了快速、准确地检测角点&#xff0c;Harris 提出了 Harris 角点检测算法&#xff0c;它基于局部窗口内图像梯度的变化来判断角点。本文将从最基础的孔径问题&#xff08;Aperture Problem&#xff09;入手&#xff0c;通过泰勒…

MeterSphere接口自动化平台调试

1。后置脚本节目 //导入json包 import org.json.*; import com.decode.DecodeMain; String responseprev.getResponseDataAsString(); String result DecodeMain.DecodeUtil(response); log.info(“获取批次账单id result:”result); //转换为Object对象类型 JSONObject data_…

机器学习:知识蒸馏(Knowledge Distillation,KD)

知识蒸馏&#xff08;Knowledge Distillation&#xff0c;KD&#xff09;作为深度学习领域中的一种模型压缩技术&#xff0c;主要用于将大规模、复杂的神经网络模型&#xff08;即教师模型&#xff09;压缩为较小的、轻量化的模型&#xff08;即学生模型&#xff09;。在实际应…

UE5 C++: 插件编写06 | 移动文件时自动Fix up redirectors

目录 前言&#xff1a; 本文内容&#xff1a; WHY WHAT HOW 详细步骤 代码解析 1. Build.cs file中 2. QuickAssetAction.cpp中 IMPORTANT NOTES 中文解释&#xff1a; 使用 AssetToolsModule 来修复重定向器 使用 AssetRegistryModule 来过滤所有重定向器 使用 FMo…

利士策分享,美国“假旗”行动,是否成为了网络空间的阴霾?

利士策分享&#xff0c;美国“假旗”行动&#xff0c;是否成为了网络空间的阴霾? 在当今这个信息化时代&#xff0c;网络空间已经成为国家间竞争与合作的重要领域。然而&#xff0c;美国却频繁采取一种名为“假旗行动”的卑劣手段&#xff0c;污染全球网络空间&#xff0c;给世…

Java 二分查找算法详解及通用实现模板案例示范

1. 引言 二分查找&#xff08;Binary Search&#xff09;是一种常见的搜索算法&#xff0c;专门用于在有序数组或列表中查找元素的位置。它通过每次将搜索空间缩小一半&#xff0c;从而极大地提高了查找效率。相比于线性查找算法&#xff0c;二分查找的时间复杂度为 O(log n)&…

Arthas常用的命令(三)--monitor、jad 、stack

monitor&#xff1a;监控方法的执行情况 监控指定类中方法的执行情况 用来监视一个时间段中指定方法的执行次数&#xff0c;成功次数&#xff0c;失败次数&#xff0c;耗时等这些信息 参数说明 方法拥有一个命名参数 [c:]&#xff0c;意思是统计周期&#xff08;cycle of ou…

linux线程 | 同步与互斥(上)

前言&#xff1a;本节内容主要是线程的同步与互斥。 本篇文章的主要内容都在讲解互斥的相关以及周边的知识。大体的讲解思路是通过数据不一致问题引出锁。 然后谈锁的使用以及申请锁释放锁的原子性问题。 那么&#xff0c; 废话不多说&#xff0c; 现在开始我们的学习吧&#x…

软件测试工程师面试整理 —— 操作系统与网络基础!

在软件测试中&#xff0c;了解操作系统和网络基础知识对于有效地进行测试工作至关重要。无论是在配置测试环境、调试网络问题&#xff0c;还是在进行性能测试和安全测试时&#xff0c;这些知识都是不可或缺的。 1. 操作系统基础 操作系统&#xff08;Operating System, OS&am…