本文是性能问题分析排查思路的展开内容之一,第2篇,主要分为日志1期,机器4期、环境2期共7篇系列文章,本期是第三篇,讲机器(硬件)的网络方面的排查方法和最佳实践。
主要内容如图所示:
本文内容主要涉及一个网络本命工具netstat、网络的延迟、抖动和丢包率查看、流量与网络带宽上限查询、链路分析、TCP连接数检测和与网络相关的常见异常,通过这些工具和方法可了解网络的主要指标表现。
本命工具netstat
Netstat是一个控制台命令,用于显示与IP、TCP、UDP和ICMP协议相关的统计数据,它是一个强大的网络工具,可帮助用户监视网络活动、查找与网络相关的问题,并提供有关网络连接的详细信息。
Netstat命令提供了多种选项,以便用户根据需要定制输出信息,功能很多,本文不展开全部细节,只是介绍一下有这样的一个命令行工具,具体的语法随时搜索即可。
问题一:查看某个端口是否处于监听状态?
命令:netstat -nalp | grep 端口号
问题二:按连接状态分类并统计某个进程占了多少tcp连接?
命令是:netstat -anp | grep 12345 | awk '/^tcp/ {print $6}' | uniq -c
这个对于排查连接数过多,不释放或者半连接问题非常有效!
如图所示,这个进程建立了了3000多个网络连接,最后排查出该进程存在连接未释放的Bug,这就是一个直接证据!
问题三:按照PID进行分类统计,并取前10位。
命令是:
netstat -anp | awk '/^tcp/ {print $7}' | cut -d/ -f1 | sort | uniq -c | sort -nr | head
结果如图所示:
图中第一列是连接数,第二列是进程的PID,从这个统计可以直观看出一些异常进程(没错,就是排名第一那个)!
以上用法,抛砖引玉。
网络延迟与抖动
ping
是一个大家所熟知的命令,虽然普通,但是它也足够强大。
图中首先可以看到网络是否联通。其次,可以直观看出现在的延迟,例如上图都是20多毫秒,这个延迟已经很高了。数据中心内部一般不到1毫秒,我这里是ping的一个外部网络。
再然后,通过最后一行的统计信息,可以看到网络抖动非常小,只有0.321毫秒,因此该网络虽然慢,但慢的很稳定很均匀。
最后,丢包率,这里直接看到是0% packet loss,你可以测试更长时间观察是否丢包。
丢包率
上面的ping
命令可以查看实时的丢包情况。
而ifconfig
命令可以查看历史统计,它显示的是每个网卡的信息,关注每个信息块的最后两行:
分别表示接收和发送的网络包数目,其中包含了drop关键字,也就是丢包的数量,这里可看到是2010571,这种就需要确认下网络是否有拥塞或其他异常。
网络流量
一般网络流量要通过监控系统的页面进行查看,如果没有现成的页面监控可以看,使用以下的命令查看。
网络带宽上限
使用ethtool 网卡名
获取,网卡名使用上面的命令可以得到!
上图中的Speed就是这个网卡的理论速度上限了,即千兆网卡,1000Mb/s。
这里需要提醒的是,千兆不是我们常说的1GB,b在这里是比特,不是Bytes!
实时网速
这里又要用到linux神器,sar命令。
sar的功能太多,关于看网速的具体命令是:sar -n DEV 1
。
第一列是时间戳。其他主要字段解释如下:
- IFACE:这是网络接口的名称。在这个例子中,有两个接口。
- rxpck/s:这是每秒接收的数据包数量(Received Packets per Second)
- txpck/s:这是每秒发送的数据包数量(Transmitted Packets per Second)
- rxkB/s:这是每秒接收的千字节数(Received Kilobytes per Second)
- txkB/s:这是每秒发送的千字节数(Transmitted Kilobytes per Second)
通过收发的字节数与上面的带宽对比,可以看到是否达到网络瓶颈!
另一个实时网速
iptraf-ng
还可以监控所有出入的流量,进行按照协议区分流量,并设置过滤器等。它可以用于实时监视网络流量、统计网络接口的使用情况、查看网络连接等。
这是一个略漂亮点的网速查看工具!如图所示:
链路
tracepath是一个网络诊断工具,用于追踪数据包从源主机到目标主机的路径。它通过发送一系列逐渐增加的TTL(Time To Live)值的ICMP回显请求报文来探测路径上的每个路由器,并记录每个路由器的IP地址和响应时间。
示例输出:
tracepath to www.example.com (93.184.216.34), 30 hops max, 60 byte packets
1 192.168.1.1 (1.234 ms)
2 10.0.0.1 (2.345 ms)
3 * * *
4 203.0.113.1 (123.456 ms)
5 * * * 6 93.184.216.34 (123.456 ms)
其中星号表示在该跳点上没有收到回复。每行还包括该跳点的IP地址和从源主机到该跳点的往返时间(以毫秒为单位)。
如果发现某个跳点的响应时间特别长或没有收到回复,那么可能表示该路由器存在故障或网络拥塞等问题。这对于网络故障排查和优化非常有帮助。
TCP相关
可以继续使用sar命令来观察网络的重发数、强制关闭数。另外linux的网络半连接、全连接的队列大小可以适当扩大。
常见问题
-
网络连接问题:
- 报错信息:
Network is unreachable
、Connection refused
、No route to host
等。 - 现象:无法ping通其他主机,无法上网,无法访问远程服务等。
- 解决方法:检查本地网络设置、路由器配置、防火墙设置等。
- 报错信息:
-
DNS解析问题:
- 错误信息:
Name or service not known
- 现象:无法通过域名访问网站,只能通过IP地址访问。
- 解决方法:检查
/etc/resolv.conf
文件中的DNS设置,或者尝试更换DNS服务器。
- 错误信息:
-
服务端口监听问题:
- 错误信息:
Connection refused
- 现象:尝试连接某个服务端口时,被服务器拒绝。
- 解决方法:检查服务是否正在运行,端口是否开放,以及防火墙规则是否允许该连接。
- 错误信息:
-
网络超时:
- 错误信息:
Request timed out
- 现象:网络请求长时间无响应。
- 解决方法:检查网络延迟、带宽限制、服务器负载等因素。
- 错误信息:
-
路由配置问题:
- 错误信息:
Destination Host Unreachable
- 现象:尝试访问某个网络时,提示目标主机不可达。
- 解决方法:使用
route
命令查看和修改路由表,确保默认路由设置正确。
- 错误信息:
结语
Linux网络系统的排查工具众多,每种工具都有其独特的功能和适用场景。通过结合使用这些工具和使用经验,我们能够更加高效地诊断和解决网络问题。然而,仅依赖工具是不够的,我们还需不断学习和积累网络知识,以便更好地理解和处理各种网络问题。希望本文所介绍的排查工具和使用经验能为读者在Linux网络系统维护排查中提供一些帮助。