线上OOM问题排查总结

自己搭建了一个小博客,该文章与博客文章同步。

一般情况下,出现OOM主要有一下三种原因。
  1. 一次性申请对象的太多。更改申请对象数量。
  2. 内存资源耗尽未释放。找到未释放的对象进行释放。
  3. 本身资源不够。jmap -heap 查看堆信息。

分几种情况解决:

系统已经挂了的情况:

-XX:+HeapDumpOnOutOfMemoryError
这个jvm启动参数含义:当堆内存空间溢出时输出堆的内存快照。
配合参数:-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/export/home/tomcat/logs/…
触发条件:java.lang.OutOfMemoryError: Java heap space,也就是说当发生OutOfMemoryError错误时,才能触发-XX:HeapDumpOnOutOfMemoryError 输出到-XX:HeapDumpPath指定位置。
关于fullgc:Systerm.gc() 以及fullgc 不会触发-XX:HeapDumpOnOutOfMemoryError

系统运行中还未OOM

导出dump文件:jmap -dump:format=b,file=java_pidxxxx.hprof 14660
Arthas
结合jvisualvm 进行调试
查看最多跟业务有关对象->找到GCRoot ->查看线程栈

我们以一个场景为例:

准备三个java文件:
OOMUser

package com.aquarius.wizard.jdkapi.oom;import lombok.AllArgsConstructor;
import lombok.Data;
import lombok.NoArgsConstructor;/*** @author zhaoyijie* @since 2024/6/22 09:17*/
@Data
@NoArgsConstructor
@AllArgsConstructor
public class OOMUser {private Integer id;private String name;}

OOMService

package com.aquarius.wizard.jdkapi.oom;import java.util.ArrayList;
import java.util.List;
import java.util.UUID;/*** @author zhaoyijie* @since 2024/6/22 09:19*/
public class OOMService {public void getUserList() {List<OOMUser> list = new ArrayList<OOMUser>();int i = 0;while (true) {list.add(new OOMUser(i++, UUID.randomUUID().toString()));}}
}

OOMDemo

package com.aquarius.wizard.jdkapi.oom;/*** @author zhaoyijie* @since 2024/6/22 08:49*/
public class OOMDemo {public static void main(String[] args) {//java -Xms10M -Xmx10M -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/Users/zhaoyijie/IdeaProjects/java-study/Jdk-api-demo/logs/ -cp Jdk-api-demo-1.0.jar com.aquarius.wizard.jdkapi.oom.OOMDemoOOMService oomService = new OOMService();oomService.getUserList();}
}
zhaoyijie@zhaoyijiedeMacBook-Pro target % java -Xms10M -Xmx10M -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/Users/zhaoyijie/IdeaProjects/java-study/Jdk-api-demo/logs/ -cp Jdk-api-demo-1.0.jar com.aquarius.wizard.jdkapi.oom.OOMDemo
java.lang.OutOfMemoryError: GC overhead limit exceeded
Dumping heap to /Users/zhaoyijie/IdeaProjects/java-study/Jdk-api-demo/logs/java_pid71318.hprof ...
Heap dump file created [11439235 bytes in 0.059 secs]
Exception in thread "main" java.lang.OutOfMemoryError: GC overhead limit exceededat java.util.UUID.randomUUID(UUID.java:144)at com.aquarius.wizard.jdkapi.oom.OOMService.getUserList(OOMService.java:17)at com.aquarius.wizard.jdkapi.oom.OOMDemo.main(OOMDemo.java:12)
zhaoyijie@zhaoyijiedeMacBook-Pro target % cd ..
zhaoyijie@zhaoyijiedeMacBook-Pro Jdk-api-demo % tree
.
├── logs
│   └── java_pid71318.hprof
├── pom.xmlzhaoyijie@zhaoyijiedeMacBook-Pro target % jvisualvm

导出路径是/Users/zhaoyijie/IdeaProjects/java-study/Jdk-api-demo/logs/
你必须确保有这个路径,否则导出不成功,程序不会自动创建文件夹
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
找到最占内存的实例,双击实例
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
这里表示是OOMDemo的第12行,也就是oomService.getUserList();这个方法导致了OOM,这个方法写的是个死循环。

其他工具:
1.jmap -heap 查看是否内存分配过小
2.jmap -histo 查看是否有明显的对象分配过多且没有释放情况
3.jmap -dump 导出 JVM 当前内存快照,使用 JDK 自带或 MAT 等工具分析快照

jmap -histo:live 71854 | head -10

zhaoyijie@zhaoyijiedeMacBook-Pro ~ % jps
71131 RemoteMavenServer36
70218 Main
71855 Jps
71854 OOMDemo
zhaoyijie@zhaoyijiedeMacBook-Pro ~ % jmap -histo:live 71854  | head -10num     #instances         #bytes  class name
----------------------------------------------1:         51019        4488144  [C2:         50999        1223976  java.lang.String3:         49520        1188480  com.aquarius.wizard.jdkapi.oom.OOMUser4:         49648         794368  java.lang.Integer5:           571         313888  [Ljava.lang.Object;6:           557          63992  java.lang.Class7:           439          29280  [I

jstat -gcutil 75841 1000 10

   zhaoyijie@zhaoyijiedeMacBook-Pro ~ % jps
75841 OOMDemo
75588 Main
75844 Jps
73694 jar
zhaoyijie@zhaoyijiedeMacBook-Pro ~ % jstat -gcutil 75841 1000 10
S0     S1     E      O      M     CCS    YGC     YGCT    FGC    FGCT     GCT
33.71   0.00   0.00  92.95  70.58  74.10     22    7.029     5    9.073   16.102
33.71   0.00   0.00  92.95  70.58  74.10     22    7.029     5    9.073   16.102
0.00   0.00   6.00  70.55  70.58  74.10     22    7.029     5   14.942   21.971
0.00   0.00 100.00  70.55  70.58  74.10     23    7.029     5   14.942   21.971
16.87  16.86 100.00  72.39  70.58  74.10     24    7.471     5   14.942   22.413
16.87  16.87 100.00  76.21  70.58  74.10     25    8.006     5   14.942   22.948
16.87  16.87 100.00  79.29  70.58  74.10     26    8.728     5   14.942   23.670
17.83   0.00  38.00  88.79  70.58  74.10     28    9.677     5   14.942   24.620
0.00  18.82   0.00  91.90  70.58  74.10     29   10.345     6   14.942   25.287
0.00  18.82   0.00  91.90  70.58  74.10     29   10.345     6   14.942   25.287
zhaoyijie@zhaoyijiedeMacBook-Pro ~ % jstack 75841

可以看到老年代的内存达到了百分之90以上,有跌倒百分之70,但是后面又回升到了百分之90。fullGC执行了6次,老年代存在大量不回收的对象。
jstack不方便查看,推荐Arthas
https://arthas.aliyun.com/

curl -O https://arthas.aliyun.com/arthas-boot.jar
java -jar arthas-boot.jar

未使用的时候需要停止

zhaoyijie@zhaoyijiedeMacBook-Pro software % java -jar arthas-boot.jar[INFO] JAVA_HOME: /Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home/jre
[INFO] arthas-boot version: 3.7.2
[INFO] Process 75588 already using port 3658
[INFO] Process 75588 already using port 8563
[INFO] Found existing java process, please choose one and input the serial number of the process, eg : 1. Then hit ENTER.
* [1]: 75588 com.intellij.idea.Main[2]: 77952 wechatImageMonitor.jar
1
[INFO] arthas home: /Users/zhaoyijie/.arthas/lib/3.7.2/arthas
[INFO] The target process already listen port 3658, skip attach.
[INFO] arthas-client connect 127.0.0.1 3658,---.  ,------. ,--------.,--.  ,--.  ,---.   ,---./  O  \ |  .--. ''--.  .--'|  '--'  | /  O  \ '   .-'
|  .-.  ||  '--'.'   |  |   |  .--.  ||  .-.  |`.  `-.
|  | |  ||  |\  \    |  |   |  |  |  ||  | |  |.-'    |
`--' `--'`--' '--'   `--'   `--'  `--'`--' `--'`-----'wiki       https://arthas.aliyun.com/doc
tutorials  https://arthas.aliyun.com/doc/arthas-tutorials.html
version    3.7.2
main_class
pid        75588
time       2024-06-23 09:08:36[arthas@75588]$ stop
Resetting all enhanced classes ...
Affect(class count: 0 , method count: 0) cost in 1 ms, listenerId: 0
Arthas Server is going to shutdown...
[arthas@75588]$ session (5948c830-32cc-43d5-a878-fd9bbca42a87) is closed because server is going to shutdown.
zhaoyijie@zhaoyijiedeMacBook-Pro software %

否则会抛出异常

zhaoyijie@zhaoyijiedeMacBook-Pro software % java -jar arthas-boot.jar[INFO] JAVA_HOME: /Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home/jre
[INFO] arthas-boot version: 3.7.2
[INFO] Process 75588 already using port 3658
[INFO] Process 75588 already using port 8563
[INFO] Found existing java process, please choose one and input the serial number of the process, eg : 1. Then hit ENTER.
* [1]: 75588 com.intellij.idea.Main[2]: 73694 wechatImageMonitor.jar
2
[ERROR] The telnet port 3658 is used by process 75588 instead of target process 73694, you will connect to an unexpected process.
[ERROR] 1. Try to restart arthas-boot, select process 75588, shutdown it first with running the 'stop' command.
[ERROR] 2. Or try to stop the existing arthas instance: java -jar arthas-client.jar 127.0.0.1 3658 -c "stop"
[ERROR] 3. Or try to use different telnet port, for example: java -jar arthas-boot.jar --telnet-port 9998 --http-port -1

使用dashboard命令

[arthas@77952]$ dashboard
Memory                                               used             total             max              usage             GC
heap                                                 153M             219M              3641M            4.21%             gc.ps_scavenge.count                                         246
ps_eden_space                                        79M              79M               1329M            5.97%             gc.ps_scavenge.time(ms)                                      1396
ps_survivor_space                                    12M              17M               17M              73.02%            gc.ps_marksweep.count                                        14
ps_old_gen                                           61M              122M              2731M            2.25%             gc.ps_marksweep.time(ms)                                     202
nonheap                                              28M              29M               -1               94.94%
code_cache                                           5M               5M                240M             2.21%
metaspace                                            20M              21M               -1               96.66%
compressed_class_space                               2M               2M                1024M            0.24%
direct                                               0K               0K                -                0.00%
mapped                                               0K               0K                -                0.00%
Runtime
os.name                                                                                                                    Mac OS X
os.version                                                                                                                 10.16
java.version                                                                                                               1.8.0_201
java.home                                                                                                                  /Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home/jre
systemload.average                                                                                                         6.26
processors                                                                                                                 10
timestamp/uptime                                                                                                           Sun Jun 23 12:01:47 CST 2024/536s
[arthas@77952]$ heapdump /tmp/dump-1.hprof

Error: -F option used
Cannot connect to core dump or remote debug server. Use jhsdb jmap instead
Java9之后jmap -F等动态attach模式需使用jhsdb代替。

[root@VM-4-5-centos ~]# jps -lm
7491 jdk.jcmd/sun.tools.jps.Jps -lm
19513 org.apache.catalina.startup.Bootstrap start
20094 cn.edu.gxust.blogex.api.BlogExApiApplication
[root@VM-4-5-centos ~]# jhsdb jmap --heap --pid 20094
Attaching to process ID 20094, please wait...
Debugger attached successfully.
Server compiler detected.
JVM version is 17.0.6+9-LTS-190using thread-local object allocation.
Garbage-First (G1) GC with 2 thread(s)Heap Configuration:MinHeapFreeRatio         = 40MaxHeapFreeRatio         = 70MaxHeapSize              = 1073741824 (1024.0MB)NewSize                  = 1363144 (1.2999954223632812MB)MaxNewSize               = 643825664 (614.0MB)OldSize                  = 5452592 (5.1999969482421875MB)NewRatio                 = 2SurvivorRatio            = 8MetaspaceSize            = 22020096 (21.0MB)CompressedClassSpaceSize = 1073741824 (1024.0MB)MaxMetaspaceSize         = 17592186044415 MBG1HeapRegionSize         = 1048576 (1.0MB)Heap Usage:
G1 Heap:regions  = 1024capacity = 1073741824 (1024.0MB)used     = 101319680 (96.6259765625MB)free     = 972422144 (927.3740234375MB)9.43613052368164% used
G1 Young Generation:
Eden Space:regions  = 36capacity = 160432128 (153.0MB)used     = 37748736 (36.0MB)free     = 122683392 (117.0MB)23.529411764705884% used
Survivor Space:regions  = 7capacity = 8388608 (8.0MB)used     = 7864320 (7.5MB)free     = 524288 (0.5MB)93.75% used
G1 Old Generation:regions  = 55capacity = 99614720 (95.0MB)used     = 55706624 (53.1259765625MB)free     = 43908096 (41.8740234375MB)55.92208059210526% used[root@VM-4-5-centos ~]# java -version
java version "17.0.6" 2023-01-17 LTS
Java(TM) SE Runtime Environment (build 17.0.6+9-LTS-190)
Java HotSpot(TM) 64-Bit Server VM (build 17.0.6+9-LTS-190, mixed mode, sharing)

jmap -heap $PID

[hadoop@dev]$ jmap -heap 24464
Attaching to process ID 24464, please wait...
Debugger attached successfully.
Server compiler detected.
JVM version is 25.221-b11using thread-local object allocation.
Parallel GC with 4 thread(s)Heap Configuration:MinHeapFreeRatio         = 0MaxHeapFreeRatio         = 100MaxHeapSize              = 1644167168 (1568.0MB)NewSize                  = 357564416 (341.0MB)MaxNewSize               = 547880960 (522.5MB)OldSize                  = 716177408 (683.0MB)NewRatio                 = 2SurvivorRatio            = 8MetaspaceSize            = 21807104 (20.796875MB)CompressedClassSpaceSize = 1073741824 (1024.0MB)MaxMetaspaceSize         = 17592186044415 MBG1HeapRegionSize         = 0 (0.0MB)Heap Usage:
PS Young Generation
Eden Space:capacity = 470286336 (448.5MB)used     = 295203328 (281.52783203125MB)free     = 175083008 (166.97216796875MB)62.77097704152731% used
From Space:capacity = 36175872 (34.5MB)used     = 7907344 (7.5410308837890625MB)free     = 28268528 (26.958969116210938MB)21.85806053272192% used
To Space:capacity = 35651584 (34.0MB)used     = 0 (0.0MB)free     = 35651584 (34.0MB)0.0% used
PS Old Generationcapacity = 790626304 (754.0MB)used     = 131458176 (125.3682861328125MB)free     = 659168128 (628.6317138671875MB)16.627093651566646% used55933 interned Strings occupying 5650672 bytes.

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/360018.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

css文字镂空加描边

css文字镂空加描边 <!DOCTYPE html> <html><head><meta charset"utf-8"><title>文字镂空</title><style>/* 公用样式 */html,body{width: 100%;height: 100%;position: relative;}/* html{overflow-y: scroll;} */*{margi…

C# 中的 StreamReader 和 StreamWriter 类

在这里插入代码片StreamReader 和 StreamWriter 位于 System.IO 命名空间中。当您想要读取或写入基于字符的数据时&#xff0c;这两个类都很有用。这两个类都处理 Unicode 字符。 StreamReader 派生自抽象类“TextReader”&#xff0c;StreamWriter 派生自“TextWriter”。 下…

爆火的儿童绘本如何用AI制作?一文解锁从制作到变现的全流程!

大家好我是安琪&#xff01; AI绘图发展势头如此猛烈&#xff0c;无论是Stable Diffusion&#xff0c;Midjourney&#xff0c;还是国内百度的文心一格&#xff0c;字节的豆包等&#xff0c;AI绘图技术越来越成熟&#xff0c;风格也越来越多样化。那么问题来了&#xff0c;对于普…

Linux企业 集群批量管理-秘钥认证

集群批量管理-秘钥认证 概述 管理更加轻松&#xff1a;两个节点&#xff0c;通过秘钥认证形成进行访问&#xff0c;不需要输入密码&#xff0c;单向服务要求&#xff08;应用场景&#xff09;&#xff1a; 一些服务在使用前要求我们做秘钥认证 手动写批量管理脚本名字&#x…

MySQL锁、加锁机制(超详细)—— 锁分类、全局锁、共享锁、排他锁;表锁、元数据锁、意向锁;行锁、间隙锁、临键锁;乐观锁、悲观锁

文章目录 一、概述1.1 MySQL锁的由来1.2 锁定义1.3 锁分类 二、共享锁与排他锁2.1 共享锁&#xff08;S锁&#xff09;2.2 排他锁&#xff08;X锁&#xff09;2.3 MySQL锁的释放 三、全局锁3.1 介绍3.2 语法3.3 特点 四、表级锁4.1 介绍4.2 表锁4.3 元数据锁&#xff08;Meta D…

auto_undercoat:可编辑 PSD 自动上色工具

现有的自动上色和 AI 上色只能输出单图&#xff0c;想要优化或微调的话很不方便&#xff0c;auto_undercoat 实现了通过提示词上色后&#xff0c;可以生成一个 PSD 文件在 PhotoShop 中继续编辑&#xff0c;大大提升了 AI 上色可用性&#xff01;

【路由交换技术】Cisco Packet Tracer基础入门教程(四)

Hello各位&#xff0c;好久不见&#xff0c;第四期我准备讲一下Packet Tracer中DHCP的配置&#xff0c;使用方法。 本章实验我们将拓扑中的某个路由器作为DHCP服务器&#xff08;它仍然可作为路由器使用&#xff09;&#xff0c;通过命令配置DHCP服务。独立的服务器可通过图形化…

【2024.6.23】今日科技时事:科技前沿大事件

人不走空 &#x1f308;个人主页&#xff1a;人不走空 &#x1f496;系列专栏&#xff1a;算法专题 ⏰诗词歌赋&#xff1a;斯是陋室&#xff0c;惟吾德馨 目录 &#x1f308;个人主页&#xff1a;人不走空 &#x1f496;系列专栏&#xff1a;算法专题 ⏰诗词歌…

麦肯锡:量子传感究竟在何处可以发光发热

量子传感技术已经提供价值&#xff0c;潜在的应用案例可以塑造多个行业。有四种核心技术具有应用前景&#xff1a;固态自旋、中性原子、超导电路和离子阱&#xff0c;它们具有在广泛的物理属性上的传感能力&#xff0c;包括磁场、电场、旋转、温度、重力、时间和压力。选择哪种…

人脸处理——人脸换脸基础算法探索与应用测试指南

人工智能&#xff08;AI&#xff09;彻底改变了我们生活的许多方面&#xff0c;而这项技术的应用之一就是AI换脸工具。这些工具使用先进的计算机视觉技术和深度学习算法&#xff0c;例如生成对抗网络 (GAN)&#xff0c;在照片或视频中将一个人的脸与另一个人的脸交换。 1. Dee…

HarmonyOS Next开发学习手册——ExtensionAbility

概述 EmbeddedUIExtensionAbility 是EMBEDDED_UI类型的ExtensionAbility组件&#xff0c;提供了跨进程界面嵌入的能力。 EmbeddedUIExtensionAbility需要和 EmbeddedComponent 一起配合使用&#xff0c;开发者可以在UIAbility的页面中通过EmbeddedComponent嵌入本应用的Embed…

短信平台是否支持接收回复信息?详细解答与操作指南

在数字化营销的浪潮中&#xff0c;短信平台成为商家和企业与客户沟通的重要桥梁。当涉及到客户反馈或交互时&#xff0c;很多商家和企业都会关心一个问题&#xff1a;短信平台是否支持接收回复信息&#xff1f;接下来&#xff0c;我们将详细解答这一问题&#xff0c;并提供操作…

如何在linux中下载R或者更新R

一、问题阐述 package ‘Seurat’ was built under R version 4.3.3Loading required package: SeuratObject Error: This is R 4.0.4, package ‘SeuratObject’ needs > 4.1.0 当你在rstudio中出现这样的报错时&#xff0c;意味着你需要更新你的R 的版本了。 二、解决方…

langchain教程-(1)Prompt模板

LangChain 的核心组件 模型 I/O 封装 LLMs&#xff1a;大语言模型Chat Models&#xff1a;一般基于 LLMs&#xff0c;但按对话结构重新封装PromptTemple&#xff1a;提示词模板OutputParser&#xff1a;解析输出 数据连接封装 Document Loaders&#xff1a;各种格式文件的加载…

linux中的调试工具gdb

目录 1.背景知识补充 2.使用 知识补充 1.背景知识补充 1.gcc下编译默认是release方式发布的&#xff0c;无法直接进行调试 如果要以debug方式发布&#xff0c;需要携带-g 可以使用grep查询 因为携带debug信息&#xff0c;其文件体积要大一些 2.使用 1.gdb 可执行程序 …

中控室操作台的作用有哪几方面

作为集中控制和管理各种设备、系统和流程的核心&#xff0c;中控室操作台不仅提高了工作效率&#xff0c;也确保了系统的安全性和稳定性。本文将对中控室操作台的主要作用进行详细解析。 一、集中控制与管理 中控室操作台的主要作用之一是实现对多个设备或系统的集中控制与管理…

k8s学习--chart包开发(创建chart包)

文章目录 chart包应用环境一、安装helm客户端工具二、chart包目录结构三、创建不可配置的chart1.创建目录和chart.yaml2.创建deployment.yaml3.创建service.yaml4.使用chart安装应用5.查看和验证 四、创建可配置的Chart1.官方的预定义变量2.新增values.yaml文件3.配置deploy引用…

前端基础——自学习梳理

超文本协议HTML <!DOCTYPE HTML> <html><head><meta charset"utf-8"> <style> /*Css*/.sty1{height:100px;width:100px;background-color: red;margin-top: 10px;float:left;margin-left: 10px;box-shadow: 10px 10px 10px #0000…

MySQL的自增 ID 用完了,怎么办?

MySQL 自增 ID 一般用的数据类型是 INT 或 BIGINT&#xff0c;正常情况下这两种类型可以满足大多数应用的需求。 当然也有不正常的情况&#xff0c;当达到其最大值时&#xff0c;尝试插入新的记录会导致错误&#xff0c;错误信息类似于&#xff1a; ERROR 167 (22003): Out o…

IOS开发学习日记(十六)

目录 App间的唤起和通信 App跳转 通过Scheme唤起其他App Universal Link 组件化 App间的唤起和通信 App跳转 使用URL Scheme支持App启动、跳转及参数传递 分享 / 登陆 / 拉起App Store等 设置URL Type 在UIApplication中处理参数和业务逻辑 -(BOOL)application:(UIApp…