MYSQL-9.问题排查

问题排查的思路与方向

问题排查思路

  1. 分析问题根据理论知识+经验分析问题,判断问题可能出现的位置或可能引起问题的原因,将目标缩小到一定范围;
  2. 排查问题:基于上一步的结果,从引发问题的“可疑性”角度出发,从高到低依次进行排查,进一步排除一些选项,将目标范围进一步缩小;
  3. 定位问题通过相关的监控数据的辅助,以更“细粒度”的手段,将引发问题的原因定位到精准位置;
  4. 解决问题:判断到问题出现的具体位置以及引发的原因后,采取相关措施对问题加以解决;
  5. 尝试最优解(非必须):将原有的问题解决后,在能力范围内,且环境允许的情况下,应该适当考虑问题的最优解(可以从性能、拓展性、并发等角度出发);

问题排查方向

应用程序本身导致的问题

  1. 程序内部频繁触发GC,造成系统出现长时间停顿,导致客户端堆积大量请求。
  2. JVM参数配置不合理,导致线上运行失控,如堆内存、各内存区域太小等。
  3. Java程序代码存在缺陷,导致线上运行出现Bug,如死锁/内存泄漏、溢出等。
  4. 程序内部资源使用不合理,导致出现问题,如线程/DB连接/网络连接/堆外内存等。

上下游内部系统导致的问题

  1. 上游服务出现并发情况,导致当前程序请求量急剧增加,从而引发问题拖垮系统。
  2. 下游服务出现问题,导致当前程序堆积大量请求拖垮系统,如Redis宕机/DB阻塞等。

程序所部署的机器本身导致的问题

  1. 服务器机房网络出现问题,导致网络出现阻塞、当前程序假死等故障。
  2. 服务器中因其他程序原因、硬件问题、环境因素(如断电)等原因导致系统不可用。
  3. 服务器因遭到入侵导致Java程序受到影响,如木马病毒/矿机、劫持脚本等。

第三方的RPC远程调用导致的问题

  1. 作为被调用者提供给第三方调用,第三方流量突增,导致当前程序负载过重出现问题。
  2. 作为调用者调用第三方,但因第三方出现问题,引发雪崩问题而造成当前程序崩溃。

数据库问题可能发生方面

SQL执行报错

业务代码bug,编写的SQL语句报错;

  1. 一般会抛出异常信息如Error updating database. Cause: java.sql.SQLException: Field 'category_name' doesn't have a default value可根据异常信息百度解决;

慢SQL

偶发的SQL执行缓慢的情况;

  1. 慢查询日志:

    1. 查看慢查询日志:show variables like 'slow_query_log_file';

      在这里插入图片描述

      • 行慢查询SQL的用户:root,登录IP为:localhost[127.0.0.1]。
      • 慢查询执行的具体耗时为:0.014960s,锁等待时间为0s。
      • 本次SQL执行后的结果集为4行数据,累计扫描6行数据。
      • 本次慢查询发生在db_zhuzi这个库中,发生时间为1667466932(2022-11-03 17:15:32)。
      • 最后一行为具体的慢查询SQL语句。
    2. 排查SQL执行缓慢的原因

      1. 根据慢查询日志中的信息,得到具体慢SQL信息,并根据Look_time耗时判断是不是由于并发事物导致的长时间阻塞,如果不是则使用explain执行分析工具,判断索引情况;
      2. 如果在慢查询日志中,存在大量由于并发事物导致的慢查询,则可以通过查看Mysql的锁状态来判断当前Mysql节点的承载并发压力是否过高;

机器故障

部署MySQL的及其故障,如磁盘、内存、CPU100%MySQL自身故障等;

客户端连接异常

  1. 数据库的连接数超出了最大连接数,此时再出现新连接时会出现异常;
    1. 解决办法:排查数据库和客户端连接池的配置是否合理,适当调整参数;
  2. 客户端数据库连接池与Mysql版本不匹配,或超时时间过小,可能导致连接中断;
    1. 解决办法:排查数据库和客户端连接池的配置是否合理,适当调整参数;
  3. Mysql、JAVA程序所部署的机器不在同一网段,导致两者之间可能存在网络通信故障;
    1. 排查方向如下:
      • 检测防火墙与安全组的端口是否开放,或与外网机器是否做了端口映射。
      • 检查部署MySQL的服务器白名单,以及登录的用户IP限制,可能是IP不在白名单范围内。
      • 如果整个系统各节点部署的网段不同,检查各网段之间交换机的连接超时时间是多少。
      • 检查不同网段之间的网络带宽大小,以及具体的带宽使用情况,有时因带宽占满也会出现问题。
      • 如果用了MyCat、MySQL-Proxy这类代理中间件,记得检查中间件的白名单、超时时间配置。
  4. 机器资源不足,如CPU、硬盘占用过高,导致MySQL没有资源分配给新连接;
    1. 在一切正常的情况下,有时候出现连接不上MySQL的情况时,可以去查看部署Mysql服务的机器的硬件使用情况,若出现异常则说明是机器问题;

死锁频发

MySQL会默认开启死锁检测算法,当运行期间出现死锁问题时,会主动介入并解除死锁,具体可参考Mysql锁机制中的死锁介绍,但其指标不治本,死锁现象是由于业务代码不合理造成的,极大可能反复出现;

  1. 定位死锁问题:可通过SHOW ENGINE INNODB STATUS\G;查看InnoDB的运行状态日志,其中包含InnoDB运行期间所有的状态日志,其中死锁日志在LATEST DETECTED DEADLOCK这块区域;

    在这里插入图片描述

    1. 信息中包含了死锁发生的时间
    2. *** (n) TRANSACTION产生死锁的事物和具体sql
    3. *** (2) WAITING FOR THIS LOCK TO BE GRANTED: 指明了发生死锁冲突的地点位于order库中order_salesorder表的uk_tenant_store_order索引上,第二个事务正在等待获取插入意向锁,但是由于第一个事务持有了表级的共享锁,并且也在等待获取插入意向锁;
    4. *** WE ROLL BACK TRANSACTION (2)解决方案是回滚了第二个事物;

CPU100%

  1. 排查思路:

    1. 找到CPU过高的服务器;
    2. 定位具体进程,top
    3. 定位进程中的具体线程,top -Hp [PID]
    4. 找到线程正在执行的代码逻辑;
    5. 从代码层面着手优化;
  2. 具体步骤

    1. 通过top命令查看占用CPU最高的进程(这里假设mysql占用率最高):

      top - 16:02:11 up 623 days, 23:46,  1 user,  load average: 0.24, 0.22, 0.19
      Tasks: 139 total,   1 running, 138 sleeping,   0 stopped,   0 zombie
      %Cpu(s):  1.5 us,  0.1 sy,  0.0 ni, 98.2 id,  0.0 wa,  0.2 hi,  0.0 si,  0.0 st
      MiB Mem :  15469.9 total,    152.1 free,   6837.6 used,   8480.2 buff/cache
      MiB Swap:      0.0 total,      0.0 free,      0.0 used.   8314.0 avail Mem PID USER      PR  NI    VIRT    RES    SHR S  %CPU  %MEM     TIME+ COMMAND                                                              
      3093986 admin     20   0 6576080   1.4g  18008 S   5.3   9.6   2:50.12 java                                                                 
      3057999 admin     20   0 6335928   1.2g  16864 S   0.7   8.1   4:42.53 java                                                                 13699 root      20   0 1722052 283200   5076 S   0.3   1.8   3126:16 /usr/local/clou                                                      106781 admin     20   0 5079784   1.0g   2612 S   0.3   6.9   3184:01 java                                                                 765635 mysql     20   0 2653408   1.4g  10140 S   0.3   9.0  54062:02 mysqld                                                               
      2836690 admin     20   0  273680   9612   2008 S   0.3   0.1 356:23.41 redis-server                                                         
      3054745 admin     20   0 4696200 815644  16600 S   0.3   5.1   3:24.90 java                                                                 
      3499020 root      10 -10   89768  13020   9316 S   0.3   0.1  66:17.11 AliYunDun                                                            
      3499031 root      10 -10  133384  24060  12164 S   0.3   0.2 126:29.57 AliYunDunMonito                                                      1 root      20   0  111468   6140   3204 S   0.0   0.0   8:14.12 systemd                                                              2 root      20   0       0      0      0 S   0.0   0.0   0:13.04 kthreadd                                                             3 root       0 -20       0      0      0 I   0.0   0.0   0:00.00 rcu_gp                                                               4 root       0 -20       0      0      0 I   0.0   0.0   0:00.00 rcu_par_gp                                                           
    2. 之后可以通过top -Hp [PID]命令查询进程中CPU占用率最高的线程;

      top - 16:09:44 up 623 days, 23:54,  2 users,  load average: 0.00, 0.05, 0.11
      Threads:  53 total,   0 running,  53 sleeping,   0 stopped,   0 zombie
      %Cpu(s):  5.1 us,  0.3 sy,  0.0 ni, 94.2 id,  0.0 wa,  0.3 hi,  0.1 si,  0.0 st
      MiB Mem :  15469.9 total,    179.2 free,   6847.7 used,   8443.0 buff/cache
      MiB Swap:      0.0 total,      0.0 free,      0.0 used.   8303.9 avail Mem PID USER      PR  NI    VIRT    RES    SHR S  %CPU  %MEM     TIME+ COMMAND                                                              
      3096811 mysql     20   0 2653408   1.4g  10140 S   0.7   9.0   0:00.02 mysqld                                                               765637 mysql     20   0 2653408   1.4g  10140 S   0.3   9.0   2:54.55 mysqld                                                               
      3087933 mysql     20   0 2653408   1.4g  10140 S   0.3   9.0   0:01.49 mysqld                                                               
      3096213 mysql     20   0 2653408   1.4g  10140 S   0.3   9.0   0:00.03 mysqld                                                               765635 mysql     20   0 2653408   1.4g  10140 S   0.0   9.0   0:04.38 mysqld                                                               765636 mysql     20   0 2653408   1.4g  10140 S   0.0   9.0   0:00.00 mysqld                                                               765638 mysql     20   0 2653408   1.4g  10140 S   0.0   9.0   3:08.71 mysqld    
      
    3. 查看OS线程ID与MySQL线程ID关系(MySQL5.7及以上),通过查询performance_schema库中的threadsSELECT * FROM threads where THREAD_OS_ID = 3096811;

      在这里插入图片描述

      1. THREAD_ID:Mysql内部线程Id
      2. PROCESSLIST_USER:数据库连接的客户端用户
      3. PROCESSLIST_HOST:数据库连接的客户端地址
      4. PROCESSLIST_DB:访问的库
      5. PROCESSLIST_INFO:当前线程正在执行的sql
      6. THREAD_OS_ID:操作系统的线程ID
    4. 得到当前线程正在执行的sql,则可以从代码层面着手优化;

磁盘100%

  1. 可能导致磁盘IO占用过高的原因
    1. 突然大批量变更库中数据,需要执行大量写入操作,如主从数据同步时就会出现这个问题。
    2. MySQL处理的整体并发过高,磁盘I/O频率跟不上,比如是机械硬盘材质,读写速率过慢。
    3. 内存中的BufferPool缓冲池过小,大量读写操作需要落入磁盘处理,导致磁盘利用率过高。
    4. 频繁创建和销毁临时表,导致内存无法存储临时表数据,因而转到磁盘存储,导致磁盘飙升。
    5. 执行某些SQL时从磁盘加载海量数据,如超2张表的联查,并每张表数据较大,最终导致IO打满。
    6. 日志刷盘频率过高,其实这条是i、ii的附带情况,毕竟日志的刷盘频率,跟整体并发直接挂钩。
  2. 解决办法:
    1. **提升硬件,**若磁盘不是固态硬盘的可将磁盘升级成固态硬盘;
    2. 引入中间件,如引入Redis减小读压力,引入MQ进行流量削峰;
    3. 调大BufferPool缓冲池大小
    4. SQl语句上优化,撰写SQL语句时尽量减少多张大表联查,不要频繁的使用和销毁临时表;

Performance_Schema库监控全局资源

  1. MySQL5.6引入,主要记录:数据库整体的监控信息,比如事务监控信息、最近执行的SQL信息、最近连接的客户端信息、数据库各空间的使用信息等,基于这个库可以在线上构建出一个完善的MySQL监控系统:
    1. Statements/execution stages:MySQL统计的一些消耗资源较高的SQL语句。
    2. Table and Index I/O:MySQL统计的那些表和索引会导致I/O负载过高。
    3. Table Locks:MySQL统计的表中数据的锁资源竞争信息。
    4. Users/Hosts/Accounts:消耗资源最多的客户端、IP机器、用户。
    5. Network I/O:MySQL统计的一些网络相关的资源情况。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/328636.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

低空经济:无人机竞赛详解

无人机竞赛市场近年来呈现出蓬勃发展的态势,其市场价值不仅体现在竞赛本身,还体现在推动无人机技术创新、拓展应用场景以及促进产业链发展等多个方面。 一、比赛项目介绍 无人机竞赛通常分为多个项目,包括竞速赛、技巧赛、航拍赛等。每个项目…

新手也能看懂的前端单元测试框架:Vitest

单元测试的概念及作用 1.什么是单元测试? 单元测试是测试中的一个重要环节,它针对软件中的最小可测试单元进行验证,通常是指对代码中的单个函数、方法或模块进行测试。 单元测试旨在确定特定部分代码的行为是否符合预期,通过针…

【谷粒商城】01-环境准备

1.下载和安装VirtualBox 地址:https://www.virtualbox.org/wiki/Downloads 傻瓜式安装VirtualBox 2.下载和安装Vagrant官方镜像 地址:https://app.vagrantup.com/boxes/search 傻瓜式安装 验证是否安装成功 打开CMD,输入vagrant命令,是否…

Linux的常用指令 和 基础知识穿插巩固(巩固知识必看)

目录 前言 ls ls 扩展知识 ls -l ls -a ls -al cd cd 目录名 cd .. cd ~ cd - pwd 扩展知识 路径 / cp [选项] “源文件名” “目标文件名” mv [选项] “源文件名” “目标文件名” rm 作用 用法 ./"可执行程序名" mkdir rmdir touch m…

单位个人怎样向报社的报纸投稿?

作为一名单位的信息宣传员,我肩负着每月定期在媒体上投稿发表文章的重任。然而,在投稿的道路上,我经历了不少波折和挫折。 一开始,我天真地以为只要将稿件发送到报社的投稿邮箱,就能轻松完成任务。然而,现实却远比我想象的复杂。邮箱投稿的竞争异常激烈,编辑们会在众多稿件中挑…

什么是直接内存(NIO)

直接内存不受 JVM 内存回收管理,是虚拟机的系统内存,常见于 NIO 操作时,用于数据 缓冲区,分配回收成本较高,但读写性能高,不受 JVM 内存回收管理。 举例 当上传一个较大文件(200M)…

【传知代码】VRT: 关于视频修复的模型(论文复现)

前言:随着数字媒体技术的普及,制作和传播视频内容变得日益普遍。但是,视频中由于多种因素,例如传输、存储和录制设备等,经常出现质量上的问题,如图像模糊、噪声干扰和低清晰度等。这类问题对用户的体验和观…

【Ubuntu20.04安装java-8-openjdk】

1 下载 官网下载链接: https://www.oracle.com/java/technologies/downloads/#java8 下载 最后一行 jdk-8u411-linux-x64.tar.gz,并解压: tar -zxvf jdk-8u411-linux-x64.tar.gz2 环境配置 1、打开~/.bashrc文件 sudo gedit ~/.bashrc2、…

【解决】:git clone项目报错fatal: fetch-pack: invalid index-pack output

象:之前一直使用gitee将个人学习和工作相关记录上传到个人gitee仓库,一直没出现过问题。直到有一天换电脑重新拉取代码发现出了问题,具体如下图: 原因分析: 经过查询发现主要原因是因为git clone的远程仓库的项目过大…

NVM安装及VUE创建项目的N种方式

VUE 参考官网:https://cli.vuejs.org/zh/guide/ 目录 NVM安装 1.卸载node.js 2.安装nvm ​编辑​ 3.配置 4.使用nvm安装node.js 5.nvm常用命令 创建VUE项目 1.使用vue init 创建vue2(不推荐) 2.使用vue create创建vue2和3&#xff…

Docker安装Mosquitto

在物联网项目中,我们经常用到MQTT协议,用MQTT协议做交互就需要部署一个MQTT服务,而mosquitto是一个常用的MQTT应用服务, Mosquitto是一个实现了消息推送协议MQTT v3.1的开源消息代理软件。MQTT(Message Queuing Teleme…

knife4j案例

1.导入 <dependency><groupId>com.github.xiaoymin</groupId><artifactId>knife4j-spring-boot-starter</artifactId> </dependency>2.在配置类中加入 knife4j 相关配置并设置静态资源映射&#xff08;否则接口文档页面无法访问&#xff…

大模型LLM 结合联网搜索增强isou

参考&#xff1a; https://github.com/yokingma/search_with_ai 在线使用网址&#xff1a; https://isou.chat/ 安装github下载&#xff0c;运行docker compose 如果一直报下面错误&#xff1a; 解决方法https://github.com/yokingma/search_with_ai/pull/7 默认打开&a…

【PG数据库】PostgreSQL 日志归档详细操作流程

1.1 日志归档的目的 pg数据库日志归档是将PostgreSQL数据库的日志文件进行归档的过程。 归档的主要目的是为了保留历史数据&#xff0c;确保数据的一致性和完整性&#xff0c;同时为数据恢复提供必要的支持。 pg数据库日志归档的目的包括&#xff1a; 1.数据恢复&#xff1…

[链表专题]力扣141, 142

1. 力扣141 : 环形链表 题 : 给你一个链表的头节点 head &#xff0c;判断链表中是否有环。 如果链表中有某个节点&#xff0c;可以通过连续跟踪 next 指针再次到达&#xff0c;则链表中存在环。 为了表示给定链表中的环&#xff0c;评测系统内部使用整数 pos 来表示链表尾…

洛谷P1364 医院设置

P1364 医院设置 题目描述 设有一棵二叉树&#xff0c;如图&#xff1a; 其中&#xff0c;圈中的数字表示结点中居民的人口。圈边上数字表示结点编号&#xff0c;现在要求在某个结点上建立一个医院&#xff0c;使所有居民所走的路程之和为最小&#xff0c;同时约定&#xff0c…

20240511每日运维----聊聊nignx改配置所有的nginx改完unknow

1、改配置所有的nginx改完unknow src/core/nginx.h src/http/ngx_http_header_filter_module.c src/http/ngx_http_special_response.c src/http/v2/ngx_http_v2_filter_module.c 2、make 3、去objs里面把nginx文件替换过去sbin/nginx

从JSON数据到Pandas DataFrame:如何解析出所需字段

目录 一、引言 二、JSON数据的基本结构 三、使用Pandas从JSON数据中读取数据 四、从DataFrame中解析出所需字段 解析对象字段 解析嵌套对象字段 解析数组字段 五、案例与代码示例 六、总结 一、引言 在数据分析和处理的日常工作中&#xff0c;我们经常需要从各种…

Python悬置动刚度模拟及复数绘制

Python悬置动刚度模拟及复数绘制 1、复数绘制极坐标图2、动刚度的计算公式3、悬置动刚度的影响因素4、 AVL Excite 悬置动刚度的模拟 1、复数绘制极坐标图 # _*_ coding:UTF-8 _*_import matplotlib.pyplot as plt import numpy as np# 定义复数数组 complexNums [1.5 1.2j,…

参考文献自检指南

参考文献作为论文的最后组成部分&#xff0c;可能不是加分项&#xff0c;但是做不好的话绝对会被吐槽&#xff0c;而且是个要命的减分项。因此要做好检查&#xff0c;以下是一些可以遵循的规范。&#xff08;如有疏漏&#xff0c;欢迎指出&#xff09; .bib文件 1.字段的选…