日常故障排查 - Linux常用命令

系统负载相关

top命令

使用top命令可以查看正在运行的系统中的动态实时视图信息，显示系统摘要信息，以及Linux内核当前正在管理的任务列表。其支持静态输出，也支持交互式输出，还可以在启动之前读取响应的配置文件来决定如何显示进程的状态信息。

Tasks: 1580 total,   2 running, 1138 sleeping,   0 stopped,   0 zombie
%Cpu(s):  1.5 us,  1.0 sy,  0.0 ni, 97.4 id,  0.0 wa,  0.0 hi,  0.1 si,  0.0 st
KiB Mem : 39592755+total, 62822888 free, 12794579+used, 20515886+buff/cache
KiB Swap:        0 total,        0 free,        0 used. 26270419+avail Mem PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND                                                                               6508 libstor+  20   0 1110624 546704  22884 R  45.0  0.1  10:08.72 bundle                                                                                2250 clickho+  20   0   73.3g   5.9g 954500 S  25.0  1.6  34924:35 clickhouse-serv                                                                       
29589 root      20   0  165724   5900   3856 R  25.0  0.0   0:00.07 top                                                                                   
42670 root      20   0   50.3g   4.9g  51712 S  25.0  1.3   8004:20 java                                                                                  
38238 root      20   0 8801564 270732  28360 S  15.0  0.1   7366:31 dockerd                                                                               
39693 root      20   0 6665636 210360  62032 S  15.0  0.1   5815:44 kubelet                                                                               
27211 saslauth  20   0   67344  21880  14656 S  10.0  0.0   0:00.11 postgres                                                                              2247 redis     20   0 1165652 547420   4308 S   5.0  0.1   3171:57 redis-server                                                                          2866 mysql     20   0   63.4g  43.2g  22144 S   5.0 11.4  29520:57 mysqld

重点指标详解 `top`

load average: CPU在1分钟、5分钟、15分钟内的平均队列长度。
Tasks：处于各种状态的进程数。total表示总的进程数；running表示正在运行的进程数；sleeping表示睡眠进程数；stopped表示停止进程数(通常是进程接收到某个信号停止)；zombie表示僵尸进程数(进程已经执行完毕，但是父进程还没有对其进行处理，进程描述符仍然存在)；
%Cpu：CPU的相关指标
- us：表示用户空间进程占用百分比
- sy：表示内核空间进程占用百分比
- ni：表示在用户进程空间内改变过优先级的进程占用CPU百分比
- id：表示空闲CPU百分比
- wa：表示I/O等待的百分比
- hi：表示硬件CPU中断占用百分比
- si：表示软中断占用百分比
Mem：内存相关指标
- total：总的内存大小
- used：已经使用的内存大小
- free：表示空闲的内存大小
- buffers：表示用作内核缓存的内存大小
Swap：swap交换区相关指标(一般都关闭swap功能)其内指标与内存相似

PID：表示进程ID
USER：表示进程所有者的用户
PR：表示优先级
NI：表示nice值，负值表示高优先级，正值表示低优先级
VIRT：表示进程使用的虚拟内存总量（VIRT=SWAP+RES），单位为kb
RES：表示进程使用的、未被换出的物理内存大小（RES=CODE+DATA），单位为kb
SHR：表示共享内存大小，单位为kb
S：表示进程状态（D=不间断的睡眠状态，R=正在运行，S=睡眠，T=跟踪/停止，Z=僵尸进程）
%CPU：表示上次更新到现在的CPU时间占用百分比
%MEM：表示进程当前使用的物理内存百分比
TIME+：表示进程使用的CPU时间总计，单位为1/100s
COMMAND：表示程序名或进程的完整运行字符串信息（最多512个字符，超过会被截断）

常用的参数搭配

top -Hp <PID>：查看指定进程的线程信息(包括子线程)
交互式命令：P：按%CPU排行；M：按%MEM排行；s：设置刷新间隔时间。

其他的参数搭配可以通过man top或者top -h查看文档获取.

sar命令

使用sar命令可以收集并打印系统中各种活动的详细信息。与top相比，sar命令可以按照某个周期收集指定资源的使用信息。常见的使用方式 sar [选项] [<时间间隔(秒)> [<次数>]]。

重点指标详解

打印读写I/O和IOPS统计信息 `sar -b 1 3`

22时11分12秒       tps      rtps      wtps   bread/s   bwrtn/s
22时11分13秒     15.00      0.00     15.00      0.00    176.00
22时11分14秒     16.00      0.00     16.00      0.00    216.00
22时11分15秒    176.00      0.00    176.00      0.00  11344.00
平均时间:     69.00      0.00     69.00      0.00   3912.00

tps：每秒发送到物理设备的I/O传输总数（传输是对物理设备的I/O请求）。多个逻辑请求可以组合成对物理设备的单个I/O请求。所以，一个I/O传输的数据块大小是不确定的
rtps：每秒发送到物理设备的读传输请求总数
wtps：每秒发送到物理设备的写传输请求总数
bread/s：每秒从物理设备读取的数据块总量（块相当于扇区，大小为512字节）
bwrtn/s：每秒写入物理设备的数据块总量

分别打印每个块设备的活动状态信息 `sar -dp 1 1`

22时14分23秒       DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
22时14分24秒   dev8-16      3.00      0.00     64.00     21.33      0.00      0.33      1.00      0.30
22时14分24秒    dev8-0     27.00      0.00    424.00     15.70      0.01      0.78      0.74      2.00
22时14分24秒  dev253-0      8.00      0.00    232.00     29.00      0.01      1.62      0.88      0.70
22时14分24秒  dev253-1      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
22时14分24秒  dev253-2     19.00      0.00    192.00     10.11      0.01      0.42      0.74      1.40
平均时间:       DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
平均时间:   dev8-16      3.00      0.00     64.00     21.33      0.00      0.33      1.00      0.30
平均时间:    dev8-0     27.00      0.00    424.00     15.70      0.01      0.78      0.74      2.00
平均时间:  dev253-0      8.00      0.00    232.00     29.00      0.01      1.62      0.88      0.70
平均时间:  dev253-1      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00
平均时间:  dev253-2     19.00      0.00    192.00     10.11      0.01      0.42      0.74      1.40

DEV：磁盘设备名称
tps：表示每秒发送到磁盘设备的请求传输次数。多个逻辑请求可以合并成单个I/O请求。所以，一次传输的数据块大小具有不确定性
rd_sec/s：每秒从磁盘设备读取的扇区数。扇区大小为512字节
wr_sec/s：每秒写入磁盘设备的扇区数。扇区大小为512字节
avgrq-sz：向磁盘设备发出的平均请求大小（单位为扇区）
avgqu-sz：发送到磁盘设备的平均请求队列长度
await：向被服务的磁盘设备发出的I/O请求的平均时间（以毫秒为单位），包括在请求队列中的排队时间和真正执行I/O服务的时间
svctm：向磁盘设备发出的 I/O 请求的平均服务时间（以毫秒为单位）。注意，该值并不可靠，将在后续的sysstat版本中删除
%util：向设备发出I/O请求的运行时间百分比（设备的带宽利用率）。当该值接近100%时，表示设备饱和

vmstat命令

使用vmstat命令可以输出有关进程、内存、swap页交换、块设备IOPS、系统中断、上下文切换以及CPU活动的状态等信息。常见的使用方式 vmstat [-t] [delay [count]]。

重点指标详解 `vmstat [-t] 1 3`

procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu----- -----timestamp-----r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st                 CST1  0      0 65895728 806556 204521232    0    0    22    70    0    0  2  1 97  0  0 2023-07-30 22:29:191  0      0 65899844 806556 204521232    0    0     0   388 16846 25305  3  1 97  0  0 2023-07-30 22:29:202  0      0 65892236 806556 204521120    0    0     0   648 31511 51488  3  1 96  0  0 2023-07-30 22:29:21

procs部分
- r：正在等待运行的进程数量。
- b：持续不间断处于睡眠状态的进程数量
memory部分（默认单位为kb）
- swpd：已使用的虚拟内存的数量
- free：空闲内存的数量
- buff：用作缓冲区的内存数量
- cache：用作缓存的内存数量
swap 部分
- si：从磁盘每秒换入内存的数量
- so：从内存每秒换出到磁盘的数量
io 部分
- bi：从块设备每秒接收的块数量
- bo：每秒被发送到块设备的块数量
system 部分
- in：每秒中断的数量，包括时钟中断
- cs：每秒上下文切换的数量
cpu 部分（单位为百分比）
- us：运行非内核代码的CPU时间开销百分比（用户态CPU时间开销，包含了具有优先级的CPU时间百分比）
- sy：运行内核代码的CPU时间开销百分比（内核态CPU时间开销）
- id：空闲CPU时间百分比。在Linux 2.5.41之前，该值包括I/O等待的CPU时间开销
- wa：花费在I/O等待上的CPU时间开销百分比。在Linux 2.5.41之前，该值被包含在空闲CPU时间中
- st：虚拟化管理程序从虚拟机中窃取的CPU时间百分比

iostat命令

使用iostat命令可以输出I/O设备、分区设备、网络文件系统（NFS）和CPU的一些状态统计信息。iostat命令支持生成三种类型的报告：CPU利用率报告、I/O设备利用率报告和网络文件系统报告。常用使用方式：iostat [ 选项 ] [ <时间间隔> [ <次数> ] ]。

重点指标详解 `iostat -x -m 1 3`

avg-cpu:  %user   %nice %system %iowait  %steal   %idle2.41    0.00    0.67    0.21    0.00   96.71Device:   rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sdb       0.02     0.87    0.26    4.73     0.01     0.22    96.85     0.08   17.40   28.88   16.76   0.72   0.36
sda       0.03    15.06   10.68  139.86     1.72     5.25    94.80     0.08    1.01    1.61    0.96   0.72  10.77
dm-0      0.00     0.00    0.10    7.71     0.00     2.40   629.97     0.59   75.01    2.91   75.93   2.22   1.74
dm-1      0.00     0.00    0.00    0.00     0.00     0.00    49.71     0.00    0.54    0.54    0.00   0.57   0.00
dm-2      0.00     0.00   10.60  134.60     1.71     2.85    64.38     0.26    1.79    1.59    1.80   0.69  10.03

avg-cpu: CPU利用率统计信息。
- %user：显示在用户级别（应用程序）执行时的CPU利用率的百分比；
- %nice：显示在用户级别执行时的CPU利用率的百分比，且是带有优先级的应用程序；
- %system：显示在系统级别（内核）执行时的CPU利用率的百分比；
- %iowait：显示CPU用于等待一个未完成的磁盘I/O请求的空闲时间百分比
- %steal：显示虚拟机管理程序为另一个虚拟处理器提供服务时虚拟CPU在非自愿等待中所花费的时间百分比
- %idle：显示CPU空闲的时间百分比（不包括iowait开销）
Device：设备名称
rrqm/s：每秒合并的读操作次数
wrqm/s：每秒合并的写操作次数
r/s：每秒完成的读I/O设备次数
w/s：每秒完成的写I/O设备次数
rMB/s：每秒读M字节数
wMB/s：每秒写M字节数
avgrq-sz：平均每次设备I/O操作的数据大小(扇区）
avgqu-sz：平均I/O队列长度
await：平均每次I/O操作的等待时间（毫秒）
r_await：每个读操作平均所需时间
w_await：每个写操作平均所需时间
svctm：平均每次I/O设备的操作服务时间
util%：一秒中有多少%的时间用于IO操作

iotop命令

使用iotop命令可以监视Linux内核输出的I/O使用信息，并显示系统中每个进程或线程的当前I/O使用情况。使用方法：iotop [OPTIONS]

重点指标详解 `iotop`、

在这里插入图片描述

Total DISK READ：表示进程或线程与内核块设备子系统之间的读吞吐量
Total DISK WRITE：表示进程或线程与内核块设备子系统之间的写吞吐量
Actual DISK READ：表示内核块设备子系统与底层硬件之间实际发生的读吞吐量
Actual DISK WRITE：表示内核块设备子系统与底层硬件之间实际发生的写吞吐量
TID：表示进程号
PRIO：表示该进程设置的优先级
USER：表示运行进程的用户名
DISK READ：表示进程的读吞吐量
DISK WRITE：表示进程的写吞吐量
SWAPIN：表示进程当前发生SWAP IN的吞吐量占当前整个SWAP使用量的百分比
IO>：表示进程当前I/O的吞吐量占当前I/O设备所有吞吐量的百分比
COMMAND：表示进程当前正在执行的COMMAND文本

可以使用-o参数只显示有I/O输出的进程

网络相关

基础命令

ping命令
- 简介：ping命令使用 ICMP 协议向指定的 IP 地址发送测试数据包，并计算往返时间和丢包率，用于检查网络连通性。
- 常用：ping <host> 以及 ping <host> [-c <count>] [-i <wait>]。
- 备注：ping主机不通时并不代表对方网络不可达，因为可能对方主机禁止ICMP协议(防止ping洪攻击)。另外一方面的原因可能是对方主机的网络访问策略(如:防火墙白名单)导致。
telnet命令
- 简介：telnet命令是基于文本的远程终端连接的协议和相应的命令行工具，用于测试网络服务的可访问性和端口连通性。
- 常用：ping <host> <port>
- 备注：telnet不通的原因可能是对方服务未启动成功或端口配置错误，通常可以使用netstat命令去判断。另外一方面的原因可能是对方主机的网络访问策略(如:防火墙白名单)导致。

netstat命令

netstat 是一个网络工具，用于显示与网络相关的统计信息，包括网络连接、路由表、接口统计等。它可用于检查网络连接状态、监听端口、查看网络服务的运行情况等。常用的使用方式如下：netstat -natpl。与之相似的命令是ss。

输出参数详解

Active Internet connections (w/o servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    
tcp        0      0 10.0.0.90:6379          10.0.0.83:49234         ESTABLISHED 2247/redis-server * 
tcp        0      0 10.0.0.90:6379          10.0.0.82:43960         ESTABLISHED 2247/redis-server * 
tcp        0      0 10.0.0.90:22            10.0.0.61:43690         ESTABLISHED 65432/sshd: kingdee

Proto：协议名（tcp协议还是udp协议)。可以通过-t或-u参数进行过滤tcp或udp连接。
Recv-Q：网络接收队列。表示收到的数据已经在本地接收缓冲，但是还有多少没有被进程取走。
Send-Q：网络发送队列。表示对方未接受数据或未响应ack的数据，这部分数据会一直在本地的内核缓冲区存储，直到对方响应ack。
Local Address：表示本地服务器上监听的IP(0.0.0.0或*代表所有)地址以及端口。
Foreign Address：表示对方服务器与本机端口通信的外部socket。
State：socket的连接状态。
PID/Program name：当前socket所属的进程ID以及进程名称。

输出参数异常

Recv-Q值很大：表示网络接受队列满。可能的原因是服务进程因为各种原因导致资源阻塞，请求处理慢。其次也有可能是请求突然激增负载较大，需要扩容降低负载。此外也有可能是遭受了攻击，通常需要设置合理的网络访问策略。网络接受队列满会造成间歇性的connection refuse问题，直到网络接受队列可接收来自客户端的数据。
Send-Q值很大：表示网络发送队列满。可能的原因是应用响应时携带了大量的数据或对方接收数据包较慢。
大量State处于半断开状态：半断开状态指的是FIN_WAIT1,FIN_WAIT2,CLOSE_WAIT。FIN_WAIT1,FIN_WAIT2极大可能是服务端未释放资源;CLOSE_WAIT可能是客户端未释放资源。需要释放资源，强杀该连接，否则可能造成connection refuse，新客户端无法接入。

mtr命令

MTR（My Traceroute）是一款网络诊断工具，结合了 ping 和 traceroute 的功能。它提供了比传统的 traceroute 命令更加详细和实时的网络路径跟踪和性能信息。常用的使用方式如下：mtr -r <HOST> [-P <PORT>]。

基本原理

MTR 命令通过发送 ICMP 或 UDP 数据包到目标主机，并记录每个跃点的往返时间和丢包率。它会不断地更新并显示路由器的路由选择结果。相对于其他命令仅仅收集传输路径或响应时间，MTR 工具会收集更多的信息，比如连接状态，连接可用性，以及传输路径中主机的响应性。由于这些额外的信息，我们建议您尽可能完整的展现 Internet 两个主机之间的网络连接信息。

由于路由器可能使用不同的算法来选择路由，因此在不同的路由器上运行的 traceroute 可能会显示不同的路径。在某些情况下，mtr 可能无法识别中间路由器的所有 IP 地址，因为路由器可能配置为使用不同的 IP 地址响应 ICMP TTL 超时消息。此外，在某些网络下 ICMP 协议可能会被防火墙或路由器配置禁止。

输出参数详解

Start: Tue Aug  8 20:50:48 2023
HOST: nbrz005                     Loss%   Snt   Last   Avg  Best  Wrst StDev1.|-- ???                       100.0    10    0.0   0.0   0.0   0.0   0.02.|-- 10.1.1.1                   0.0%    10    1.8   1.8   1.2   2.4   0.03.|-- 183.62.46.201              0.0%    10    4.2   3.9   3.1   4.3   0.04.|-- 14.147.10.190             10.0%    10    3.6   5.1   3.5   9.4   1.85.|-- 117.176.37.59.broad.dg.gd 30.0%    10    5.0   6.6   4.3  11.1   2.46.|-- 14.147.4.121              50.0%    10    3.6   4.0   3.1   5.3   0.97.|-- 113.96.4.78               90.0%    10    6.5   6.5   6.5   6.5   0.08.|-- ???                       100.0    10    0.0   0.0   0.0   0.0   0.09.|-- 14.18.199.98               0.0%    10    5.6   5.7   4.8   6.3   0.010.|-- ???                       100.0    10    0.0   0.0   0.0   0.0   0.011.|-- ???                       100.0    10    0.0   0.0   0.0   0.0   0.012.|-- ???                       100.0     9    0.0   0.0   0.0   0.0   0.013.|-- ???                       100.0     9    0.0   0.0   0.0   0.0   0.014.|-- 42.194.253.74              0.0%     9    7.2   6.9   5.9   7.9   0.5