目录
- 问题描述
- 问题排查
- 问题解决
- 参考资料
问题描述
业主单位服务器自8月29日晚上21:00起CPU突然飙高至98%，内存爆满，一直到9月5日：
问题排查
①执行
top命令查看Java进程PID
top
②执行
top -Hp PID命令查看具体的线程情况
top -Hp 3058
输入上述命令会显示进程 ID 为 3058 的进程及其所有子进程的资源使用情况，按占用cpu使用率倒序显示
上述占用CPU最高的前十线程如下：
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 47496 root 20 0 18.6g 10.7g 15376 R 61.9 68.6 406:54.77 Thread-240 10017 root 20 0 18.6g 10.7g 15376 R 49.3 68.6 293:56.47 Thread-246 10391 root 20 0 18.6g 10.7g 15376 R 48.0 68.6 293:37.96 Thread-249 10141 root 20 0 18.6g 10.7g 15376 R 46.0 68.6 293:45.48 Thread-247 10259 root 20 0 18.6g 10.7g 15376 R 44.7 68.6 293:57.29 Thread-248 9965 root 20 0 18.6g 10.7g 15376 R 42.1 68.6 294:10.26 Thread-245 3060 root 20 0 18.6g 10.7g 15376 S 16.2 68.6 103:36.83 GC task thread# 3061 root 20 0 18.6g 10.7g 15376 S 15.9 68.6 103:36.20 GC task thread# 3063 root 20 0 18.6g 10.7g 15376 S 15.9 68.6 103:33.17 GC task thread# 3062 root 20 0 18.6g 10.7g 15376 S 15.6 68.6 103:38.85 GC task thread# 3064 root 20 0 18.6g 10.7g 15376 S 4.3 68.6 32:01.71 VM Thread
③将线程的pid转为16进制
printf '0x%x\n' PID
④使用jvm工具jstack打印该进程的堆栈信息
jstack 47496 | grep -A 50 0xb988
But 报错了
47496: Unable to open socket file /proc/47496/root/tmp/.java_pid47496: target process 47496 doesn't respond within 10500ms or HotSpot VM not loaded
查阅相关资料
注意：发现本地执行命令的用户和Java应用所属的用户均一致，jstack后面的pid与16进制的数也是一致的，因为是直接复制过去的，若无法解决，可直接执行第⑤步
⑤执行jstack命令抓取Java线程的堆栈信息
jstack 3058 > /opt/xxxxx/thread_dump.txt
上述命令会将进程 ID 为 3058 的 Java 应用程序生成一个线程堆栈转储（thread dump），并将输出重定向到 /opt/xxxxx/thread_dump.txt 文件中
⑥抓取thread_dump.txt文件至本地分析，以子线程Thread-240分析【0xb988】
⑦使用反编译工具JD-GUI查看对应class文件
官方下载链接：http://java-decompiler.github.io/
成功定位到问题，进行相关代码修改后打包部署！！！
问题解决
近3日服务器运行状况如下：
可以看到CPU使用率基本稳定在10%，解决Java程序OOM 成功！！！
参考资料
- java应用cpu飙升(超过100%)故障排查步骤
- 重点问题！CPU利用率过高排查思路｜原创
