一、背景
最近有一次在系统并发比较高的时候,数据库突然发生了故障,导致大量请求失败,在数据库宕机不久,通过应用日志可以看到系统发生了OOM
。
二、排查
初次看到这个现象的时候,我还是有点懵逼的,数据库宕机以后为什么会导致应用发生OOM呢?
不管怎么样,先按照传统思路,分析一下应用此时的dump文件。
通过MemoryAnalyzer
工具进行dump文件分析,通过Leak Suspects
页面可以发现,有两个可以点,如下:
system class loader
看起来没有什么问题,org.apache.coyote.http11.Http11OutputBuffer
对象占用这么多内存倒是真的可疑。
打开MemoryAnalyzer
工具Dominator Tree
页面,过滤org.apache.coyote.http11.Http11OutputBuffer
,截图如下:
可以看到,内存中有大量org.apache.coyote.http11.Http11OutputBuffer
对象,同时每个对象都持有一个2048000
长度的字节数据。
通过在IDEA中对org.apache.coyote.http11.Http11OutputBuffer
对象的引用发现,Http11OutputBuffer
是用于tomcat
处理请求时,用于每个请求处理时都会生成,代码如下:
org.apache.coyote.http11.Http11Processor#Http11Processor
进入protocol.getMaxHttpRequestHeaderSize()
方法:
进入getMaxHttpHeaderSize()
方法:
可以看到maxHttpHeaderSize
属性值默认是8192
字节,怎么变成了上面的2048000
长度了呢?
通过debug代码可以发现,在org.springframework.boot.autoconfigure.web.embedded.TomcatWebServerFactoryCustomizer#customizeMaxHttpHeaderSize
方法中会进行覆盖设置,如果你在配置文件中配置了server.max-http-header-size
属性,那么maxHttpHeaderSize
默认的8192
就会被覆盖。
同时,根据org.apache.coyote.http11.Http11Processor#Http11Processor
源码,发现每次请求时也都会创建org.apache.coyote.http11.Http11InputBuffer
对象,于是我又在MemoryAnalyzer
工具Dominator Tree
页面搜索了Http11InputBuffer
类,如下:
此时,我发现为什么Http11InputBuffer
对象持有的buffer大小不是2048000
而是2056192
,整整大了8192
呢?
通过debug可以发现,答案可以在org.apache.coyote.http11.Http11InputBuffer#init
方法中找到:
在Http11InputBuffer
对象中,buffer大小除了设置的size之外,还会加一个wrapper.getSocketBufferHandler().getReadBuffer().capacity()
,通过代码调试可以发现,SocketBufferHandler
的设置在org.apache.tomcat.util.net.NioEndpoint#setSocketOptions
方法中进行的:
进入org.apache.tomcat.util.net.SocketProperties
可以发现,buff的默认大小就是8192:
此时,问题排查基本结束了,排查中遇到的疑问也基本解决了。
三、原因
通过上面的分析可以发现,由于有人在配置文件中设置了server.max-http-header-size
属性,
server:max-http-header-size: 2048000
覆盖了默认的8KB大小,导致每次请求创建的Http11InputBuffer
和Http11OutputBuffer
对象持有的buffer大小增加到2MB,在数据库宕机以后,tomcat
还在继续接受请求,由于请求响应阻塞,同时此时会有大量请求进行堆积,但是每次请求都会创建Http11InputBuffer
和Http11OutputBuffer
对象,同时会向JVM申请内存,导致JVM内存使用量急剧增加,从而导致OOM
。
四、问题解决
找到问题原因以后,有点好奇,为什么要修改server.max-http-header-size
属性呢?通过内部排查得知,原来是应用提供的某个接口是GET请求方式,在请求URL中拼接的参数过大的时候会报Request header is too large
异常信息。
看到这个异常信息有点奇怪,为什么GET请求会有这个错误呢,为什么修改server.max-http-header-size
属性可以解决呢?通过代码debug发现,Http11InputBuffer
对象其实处理的是整个请求报文,包括请求头
、请求行
等信息,所以GET方式请求URL大小和请求头大小都会被Http11InputBuffer
对象持有的buffer大小限制,因此修改server.max-http-header-size
属性确实可以解决GET请求方式由于URL过长导致的Request header is too large
异常问题。
最后,将该GET请求方式接口修改成了POST方式请求,参数传递也通过请求体进行,删除配置文件中
server.max-http-header-size
属性配置,恢复默认值8192
,在测试环境进行测试,发现OOM
问题可以解决。不过,虽然程序层面问题解决了,不过数据库稳定性问管理还需要进一步加强。