深入理解MySQL三大日志:redo log、binlog、undo log

图片

前言

MySQL是一个功能强大的关系型数据库管理系统,它的高可靠性、高性能和易用性使得它成为众多企业和开发者的首选。在MySQL内部,为了保证数据的完整性、恢复能力和并发性能,设计了一套复杂的日志系统。其中,redo log、bin log和undo log是MySQL中最为重要的三种日志,它们各自扮演着不同的角色,共同维护着数据库的稳定运行。

一、MySQL的日志系统概述

MySQL的日志系统是其稳定性和性能的重要保障。MySQL的日志主要包括以下几种:

  1. 错误日志(Error Log):记录启动、运行或停止mysqld时出现的问题。

  2. 查询日志(General Query Log):记录已连接到MySQL服务器的客户端所执行的SQL语句。

  3. 慢查询日志(Slow Query Log):记录执行时间超过指定阈值的SQL语句。

  4. 二进制日志(Binary Log,简称bin log):记录所有更改数据或可能更改数据的SQL语句,并以二进制格式保存在磁盘上。

  5. 重做日志(Redo Log):InnoDB存储引擎特有的日志,用于保证事务的ACID特性。

  6. 回滚日志(Undo Log):也是InnoDB存储引擎特有的日志,用于事务的回滚操作。

二、Redo Log详解

Redo Log是InnoDB存储引擎特有的日志,用于记录事务中的数据修改操作,并保证在数据库系统崩溃时能够恢复数据。【持久性:D】

图片

1. 刷盘时机:

  • 在事务提交时,为了保证数据的持久性,会将redo log写入磁盘。

  • 后台线程定期将redo log写入磁盘。

  • 当redo log缓冲区满时,会触发写入磁盘的操作。

图片

2. 刷盘策略:

  • InnoDB存储引擎采用了异步刷盘的方式,即提交事务时,先写入redo log缓冲区,然后后台线程异步地将数据写入磁盘。

  • 这种策略可以提高数据库的写入性能,但也可能在数据库崩溃时造成数据丢失。因此,需要合理配置刷盘策略,以平衡性能和可靠性。

3. 日志文件组:

  • Redo Log通常由多个日志文件组成,形成一个循环写入的日志文件组。当一个日志文件写满后,会切换到下一个日志文件继续写入。

4. 日志记录流程:

  • 当事务开始时,InnoDB会为该事务分配一个唯一的事务ID。

  • 事务中的每个数据修改操作都会被记录为一条redo log记录,并包含事务ID和修改的数据页信息。

  • 这些redo log记录会被写入redo log缓冲区,并等待异步刷盘操作。

5. 保证数据库的恢复能力

Redo Log通过一系列机制来保证数据库的恢复能力。以下是Redo Log如何起作用的关键方面:

1). 记录物理级别上的页修改操作:

Redo Log记录的是数据页上的物理修改操作。当事务对数据库进行修改时,这些修改首先被记录在Redo Log中,而不是直接写入数据文件。这种先写日志再写磁盘的技术(Write-Ahead Logging,WAL)确保了即使在数据库崩溃的情况下,修改操作也不会丢失。

2). 循环缓冲区与持久化存储:

Redo Log采用循环缓冲区的方式存储修改操作。当缓冲区满时,最旧的记录会被覆盖。这种设计使得Redo Log可以高效地管理日志空间,同时保证数据库在崩溃后能恢复到最后提交的事务状态。此外,Redo Log Buffer本身也是一种持久化存储的数据结构,即使系统崩溃,其中的数据也能在恢复过程中被保护和使用。

3). 崩溃恢复机制:

当数据库崩溃后重启时,系统会根据Redo Log中的记录来恢复数据。具体来说,数据库系统会找到Redo Log中最后一个已提交的事务,并将该事务所做的修改操作重新应用到数据页上,从而恢复数据的一致性。这一过程确保了即使在数据库崩溃的情况下,也能保证数据的完整性和正确性。

4). 优化性能与减少磁盘I/O:

直接将数据从Buffer Pool刷新到磁盘可能会导致大量的随机I/O操作,从而影响性能。使用Redo Log可以将数据先写入内存中的日志缓冲区,然后通过批量刷写的方式将数据写入磁盘。这种方式减少了磁盘I/O操作的次数,提高了整体性能和吞吐量。

综上所述,Redo Log通过记录物理级别的页修改操作、采用循环缓冲区与持久化存储、实现崩溃恢复机制以及优化性能与减少磁盘I/O等方式,确保了数据库在崩溃或其他故障情况下的恢复能力。

6. 配置InnoDB存储引擎的刷盘策略

配置InnoDB存储引擎的刷盘策略,主要涉及到调整innodb_flush_log_at_trx_commit参数。这个参数控制了事务提交时日志的刷盘策略,它有三个可选的值:

1). innodb_flush_log_at_trx_commit = 1:

每次事务提交时都会将日志刷新到磁盘,确保了最高的持久性。这是默认值,提供了最高的数据安全性,但在高并发写入的场景下可能会对性能产生一定影响。

2). innodb_flush_log_at_trx_commit = 2:

日志写入到操作系统的缓存(log buffer),并每秒刷写到磁盘。这种设置可能会有少量数据丢失的风险,但在某些高并发的场景下可以提高性能。

3). innodb_flush_log_at_trx_commit = 0:

日志写入到操作系统的缓存(log buffer),并每次检查点时刷写到磁盘。这种设置可能会有更多的数据丢失风险,但在某些特定的应用场景下,如大量写入且对数据的实时性要求不高的场景下,可以提高性能。

如何配置这个参数取决于你的业务需求和系统性能要求。如果你对数据的安全性有很高的要求,建议选择默认值1。如果你的系统写入量很大,且对数据实时性的要求不是特别高,可以考虑使用值2或0来提高性能。但需要注意的是,选择较低的值可能会增加数据丢失的风险。

配置方法很简单,你可以在MySQL的配置文件(如my.cnf或my.ini)中进行设置,或者在MySQL运行时使用SET GLOBAL命令进行动态调整。例如,如果你想将innodb_flush_log_at_trx_commit设置为2,你可以在配置文件中添加或修改以下行:

[mysqld]  innodb_flush_log_at_trx_commit = 2

或者,如果你只是想临时更改这个设置(直到下次MySQL重启),你可以执行以下SQL命令:

SET GLOBAL innodb_flush_log_at_trx_commit = 2;

请注意,更改任何数据库配置都可能对系统的稳定性和性能产生影响,因此在进行任何更改之前,建议先在测试环境中验证其效果。

三、binlog详解

binlog是MySQL服务器层的日志,用于记录所有更改数据或可能更改数据的SQL语句。它主要用于数据复制和恢复操作。【一致性:C】

1. 记录格式:

  • binlog支持多种记录格式,如STATEMENT、ROW和MIXED。不同的格式有不同的优缺点,需要根据实际场景选择合适的格式。

2. 写入机制:

  • 当执行一个可能修改数据的SQL语句时,MySQL服务器会将其记录到binlog中。

  • binlog的写入是同步的,即写入操作完成后才会返回给客户端。

3. 刷盘时机:

  • 在事务提交时,为了保证数据的持久性,会将binlog写入磁盘。

  • 与redo log不同,binlog的写入是同步的,即写入磁盘后才能返回给客户端。

4. 日志记录文件组和流程:

  • binlog通常由多个文件组成,当一个文件写满后,会自动切换到下一个文件继续写入。

  • 记录流程包括解析SQL语句、生成事件对象、将事件对象写入binlog缓冲区、最后将事件对象写入磁盘文件。

5. binlog的作用:

  • 复制:MySQL的主从复制就是依赖于binlog来实现的。主服务器上的binlog会被从服务器读取并执行,从而实现数据的同步。

  • 数据恢复:如果MySQL服务器发生了数据丢失或损坏,可以通过binlog中的事件来恢复数据到某个特定的时间点。

  • 审计:在某些场景下,binlog也可以用于审计目的,因为它记录了所有的修改操作。

6. binlog的三种格式:

  • ROW:基于行的复制(row-based replication, RBR),每一条会修改数据的SQL语句都会记录为每一行的变化。优点是不需要记录SQL语句上下文信息,不会产生某些特定情况下的主从数据不一致问题。缺点是有可能会产生大量的日志,尤其是修改大量数据的时候。

  • STATEMENT:基于语句的复制(statement-based replication, SBR),每一条会修改数据的SQL语句都会记录在binlog中。优点是不需要记录每一行的变化,减少了binlog日志量,节约了IO,节约了存储空间。缺点是由于记录的只是执行语句,为了保证这些语句在slave上正确运行,还必须记录每条语句在执行时的一些相关信息,例如当前的时间戳、执行的线程ID等。另外,如果SQL语句中包含了一些函数,可能会出现执行结果不一致的情况。

  • MIXED:混合复制(mixed-based replication, MBR),是以上两种格式的混合使用。MySQL会根据执行的SQL语句的类型和系统变量的设置自动选择使用STATEMENT还是ROW格式进行记录。

7. binlog的配置:

要启用binlog,你需要在MySQL的配置文件(如my.cnf或my.ini)中设置log_bin选项,并指定binlog的存储路径和文件名前缀。例如:​​​​​​​

[mysqld]  log_bin = /var/log/mysql/mysql-bin  server_id = 1

此外,还可以通过设置binlog_format来指定binlog的格式。

8. binlog数据恢复

使用MySQL的binlog进行数据恢复是一种可靠的方法,特别是当数据丢失或损坏时。以下是使用binlog进行数据恢复的基本步骤:

1). 确定数据丢失的时间点

首先,你需要确定数据丢失或损坏的大致时间点。这通常是通过检查备份、系统日志或询问相关人员来完成的。

2). 找到对应的binlog文件

根据确定的时间点,找到包含该时间点之前所有事件的binlog文件。binlog文件通常位于MySQL服务器配置的目录中,文件名包含了一个时间戳,可以帮助你识别文件。

3). 使用mysqlbinlog工具查看binlog内容

使用mysqlbinlog工具可以查看binlog文件的内容。这个工具可以将binlog文件转换为可读的格式,方便你查看其中的事件。

-- bashmysqlbinlog /path/to/binlog-file > output.txt

这将把binlog文件的内容输出到output.txt文件中。你可以使用文本编辑器打开这个文件,查找你感兴趣的事件。

4). 确定恢复的位置

在output.txt文件中,找到数据丢失之前的最后一个完整事务的位置。这个位置可以通过查看文件中的GTID、COMMIT等标识来确定。

5). 使用mysqlbinlog提取恢复所需的事件

使用mysqlbinlog工具的--start-position和--stop-position选项,提取从数据丢失之前的最后一个完整事务到数据丢失之前的时间点之间的所有事件。


-- bashmysqlbinlog --start-position=YOUR_START_POSITION --stop-position=YOUR_STOP_POSITION /path/to/binlog-file > recovery-events.sql

​​​​​​​

这将生成一个包含恢复所需事件的SQL文件recovery-events.sql。

6). 应用恢复事件

在确保备份了当前数据库状态之后,登录到MySQL服务器,并使用mysql客户端执行recovery-events.sql文件中的SQL语句。

-- bashmysql -u your_username -p your_database < recovery-events.sql 

这将把提取的事件应用到数据库中,恢复数据到丢失之前的状态。

注意事项:

  • 备份:在进行任何恢复操作之前,确保备份了当前的数据库状态,以防万一操作出现问题。

  • 测试:在正式恢复之前,最好在一个测试环境中进行恢复操作,以确保提取的事件是正确的,并且恢复过程不会引入新的问题。

  • binlog的完整性:确保在数据丢失之前没有删除或修改过binlog文件,否则恢复可能不完整或失败。

  • 权限:执行恢复操作时,确保使用的MySQL用户具有足够的权限来执行所需的SQL语句。

通过仔细操作和使用binlog,可以有效地恢复丢失的数据,并保持数据库的完整性和一致性。

四、Undo Log详解

MySQL 的 undo log 是 InnoDB 存储引擎用于保证事务的原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)和持久性(Durability),即 ACID 特性的关键组件之一。undo log 主要用于记录数据在修改前的状态,以便在事务回滚或发生系统故障时能够恢复到原始状态。【原子性:A】

1. undo log 的作用:

  • 事务回滚:当事务执行失败或显式地回滚时,InnoDB 可以利用 undo log 中的信息来撤销事务所做的修改,将数据恢复到事务开始之前的状态。

  • MVCC (多版本并发控制):undo log 也是实现 MVCC 的关键。通过保存数据的历史版本,多个事务可以并发地读取同一行数据而不会相互干扰。每个事务都可以看到一个一致的数据快照,即使其他事务正在修改数据。

  • 故障恢复:在系统崩溃或其他故障情况下,undo log 可以用于恢复数据到一致的状态。

2. undo log 的类型:

InnoDB 的 undo log 分为两种类型:

  • insert undo log:用于记录 INSERT 操作产生的 undo 日志,当事务提交后,该 undo 日志可以被立即删除,不需要进行 purge 操作。

  • update undo log:记录 UPDATE 或 DELETE 操作产生的 undo 日志,需要在事务提交后保留一段时间,以支持 MVCC。这些日志在不再需要时会通过 purge 操作来清理。

3. undo log 的存储:

undo log 可以存储在两个位置:

  • undo tablespace:这是默认的存储位置,可以配置为多个文件,以分散 I/O 负载。

  • 系统表空间:在某些配置中,undo log 也可以存储在 InnoDB 的系统表空间中。

4. undo log 的管理:

InnoDB 有一个后台进程来异步地清理不再需要的 undo log,这个过程称为 purge。purge 操作会释放不再需要的 undo log 所占用的空间,并更新系统元数据以反映这些变化。

5. 注意事项:

  • undo log 的大小和管理对于数据库的性能和存储效率有重要影响。如果 undo log 过大或管理不当,可能会导致性能下降或存储空间不足。

  • 在某些情况下,如大量的小事务或长时间运行的事务,undo log 可能会快速增长,需要密切监控和管理。

五、两阶段提交 2PC

MySQL中的两阶段提交(Two-Phase Commit,简称2PC)是一种确保分布式事务原子性的协议。它涉及到多个参与者和一个协调者,通常用于数据库复制或分布式系统中,以确保所有参与者都成功提交或回滚事务。

1. 两阶段提交的步骤:

1). 准备阶段(Prepare Phase):

  • 协调者向所有参与者发送准备提交请求。

  • 每个参与者执行本地事务操作,但不提交,而是记录必要的恢复信息(例如,undo log),并准备提交。

  • 如果参与者能够成功执行本地操作,则它向协调者发送“准备成功”的响应;否则,发送“准备失败”的响应。

2). 提交阶段(Commit Phase):

  • 根据准备阶段的响应,协调者决定是提交还是中止事务。

  • 如果所有参与者都准备成功,协调者向所有参与者发送提交请求。

  • 参与者提交本地事务,并释放锁定的资源。

  • 如果任何一个参与者在准备阶段失败,或者协调者在提交阶段无法与某个参与者通信,则协调者会向所有参与者发送中止请求。

  • 收到中止请求的参与者会回滚本地事务,并释放锁定的资源。

2. 优缺点:

1). 优点:

  • 确保分布式事务的原子性。

  • 相对简单易懂。

2). 缺点:

  • 阻塞问题:如果在准备阶段后,协调者崩溃或无法继续执行,参与者会无限期地等待。

  • 单点故障:协调者是整个系统的瓶颈和潜在的单点故障。

  • 性能问题:由于需要等待所有参与者响应,可能会导致性能瓶颈。

3. 改进与替代方案:

为了解决两阶段提交的一些缺点,出现了多种改进和替代方案,如三阶段提交(Three-Phase Commit,简称3PC)、分布式事务的补偿机制(如分布式事务框架Seata),以及基于分布式锁的解决方案等。

在MySQL的复制中,通常使用半同步复制(semi-synchronous replication)来确保数据在至少一个从库上持久化后才认为写操作成功,这也是一种保证数据一致性的机制,但不同于两阶段提交。

总的来说,两阶段提交是分布式事务中保证原子性的重要协议,但在实际应用中,需要根据具体场景和需求选择合适的方案。

结语

通过深入了解MySQL的redo log、bin log和undo log这三大日志,我们可以更好地理解MySQL的数据恢复、事务处理和数据复制等核心机制。在实际应用中,我们需要根据业务需求和系统性能要求合理配置这些日志的参数和策略,以确保数据库的稳定性和可靠性。同时,也需要关注日志的维护和管理,定期备份和清理日志文件,避免日志过多占用磁盘空间或影响系统性能。

图片

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/328671.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Qt+C++串口调试工具

程序示例精选 QtC串口调试工具 如需安装运行环境或远程调试&#xff0c;见文章底部个人QQ名片&#xff0c;由专业技术人员远程协助&#xff01; 前言 这篇博客针对《QtC串口调试工具》编写代码&#xff0c;代码整洁&#xff0c;规则&#xff0c;易读。 学习与应用推荐首选。 …

Mybatis基础操作-删除

Mybatis基础操作-删除 删除 package com.itheima.mapper;import org.apache.ibatis.annotations.Delete; import org.apache.ibatis.annotations.Mapper;Mapper //在运行时&#xff0c;会自动生成该接口的实现类对象&#xff08;代理对象&#xff09;&#xff0c;并且将该对象…

Vue3知识总结-4

Vue3知识总结-4 文章目录 Vue3知识总结-4插槽Slots渲染作用域默认内容具名插槽插槽中的数据传递具名插槽传递数据 组件声明周期声明周期示意图 组件生命周期的应用动态组件组件保持存活组件被卸载 异步组件依赖注入 插槽Slots 在某些场景中&#xff0c;可能想要为子组件传递一…

redis中的集群模式

主从复制、主从同步(解决高并发读的问题) 主从同步原理&#xff1a; 1.全量同步 slave&#xff08;从节点&#xff09;每次请求数据同步会带两个参数&#xff1a;replid和offset。 replid&#xff1a;第一次请求同步时&#xff0c;replid和master的replid不一样&#xff0c;这…

线性系统(一)

线性系统&#xff08;一&#xff09; 1.什么是线性系统2.高斯消元法3.高斯-约旦消元法4.线性方程组解的结构 链接: 线性系统&#xff08;二&#xff09; 1.什么是线性系统 线性&#xff1a;未知数只能是一次方项 非线性: 同时&#xff0c;读者也可以通过作图来更直观地感受&…

TypeScript高级类型 在鸿蒙中的使用 Partial、Required、Readonly、Pick、Record

我的工程代码在这里&#xff0c;持续更新中 欢迎交流&#xff0c;谢谢 https://github.com/MartinLi89/WanHarmony Partial <Type> 新定义 一个类型&#xff0c;将所有属性变为可选的类. class TextTS {a: string "1"b: string "2"c: string &…

即插即用篇 | YOLOv8引入轴向注意力 Axial Attention | 多维变换器中的轴向注意力

本改进已集成到 YOLOv8-Magic 框架。 我们提出了Axial Transformers,这是一个基于自注意力的自回归模型,用于图像和其他组织为高维张量的数据。现有的自回归模型要么因高维数据的计算资源需求过大而受到限制,要么为了减少资源需求而在分布表达性或实现的便捷性上做出妥协。相…

ppt通过修改幻灯片母版修改页脚

修改幻灯片母版 幻灯片母版就可以了&#xff0c;就可以修改页脚

数学建模——农村公交与异构无人机协同配送优化

目录 1.题目 2.问题1 1. 问题建模 输入数据 ​编辑 2. 算法选择 3.数据导入 3.模型构建 1. 距离计算 2. 优化模型 具体步骤 进一步优化 1. 重新定义问题 2. 变量定义 3. 优化目标 具体步骤 再进一步优化 具体实现步骤 1. 计算距离矩阵 2. 变量定义 3. 约束…

基于Django的图书管理系统

文章目录 前言一、页面展示1.登录2.前端页面3.后端页面 二、项目上传&#xff08;1&#xff09;导入数据库&#xff08;2&#xff09;导入项目&#xff08;3&#xff09;数据库密码修改&#xff08;4&#xff09;进入网站 总结 前言 本网站调用Django编写了图书管理网站&#…

漫谈AI时代的手机

以chatGPT 为代表的大语言的横空出世使人们感受到AI 时代的到来&#xff0c;大语言模型技术的最大特点是机器能”懂人话“&#xff0c;”说人话“了。如同历史上任何一个革命性工具的出现一样&#xff0c;它必将对人类生活和工作产生巨大的影响。 在这里。我们不妨畅想一下啊AI…

返回分类信息(带层级)

文章目录 1.前端展示分类管理信息1.目前项目架构2.启动前后端项目1.启动mysql容器2.启动后端 renren-fast3.启动前端1.界面2.用户名密码都是admin 3.创建分类管理菜单1.菜单管理 -> 新增 -> 新增目录2.刷新3.能够新增菜单的原因是前端脚手架与renren-fast后端脚手架通信&…

Linux基础之僵尸进程与孤儿进程

目录 一、僵尸进程 1.1 什么是僵尸进程 1.2 为什么要有僵尸状态 1.3 观察我们的僵尸状态 1.4 关于僵尸进程的小Tip 二、孤儿进程 2.1 什么是孤儿进程 一、僵尸进程 1.1 什么是僵尸进程 在上一篇文章中&#xff0c;我们有提到过进程的死亡状态的概念&#xff0c;而我们的…

国内智能搜索工具实战教程

大家好,我是herosunly。985院校硕士毕业,现担任算法研究员一职,热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名,CCF比赛第二名,科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法…

c++AVL树的模拟实现

前面对map/multimap/set/multiset进行了简单的介绍&#xff0c;在其文档介绍中发现&#xff0c;这几个容器有个 共同点是&#xff1a;其底层都是按照二叉搜索树来实现的&#xff0c;但是二叉搜索树有其自身的缺陷&#xff0c;假如往树中 插入的元素有序或者接近有序&#xff0c…

k8s 二进制安装 优化架构之 部署负载均衡,加入master02

目录 一 实验环境 二 部署 CoreDNS 1&#xff0c;所有node加载coredns.tar 镜像 2&#xff0c;在 master01 节点部署 CoreDNS 3&#xff0c; DNS 解析测试 4&#xff0c; 报错分析 5&#xff0c;重新 DNS 解析测试 三 master02 节点部署 1&#xff0…

什么是最大路径?什么是极大路径?

最近学习中&#xff0c;在这两个概念上出现了混淆&#xff0c;导致了一些误解&#xff0c;在此厘清。 最大路径 在一个简单图G中&#xff0c;u、v之间的距离 d ( u , v ) min ⁡ { u 到 v 的最短路的长度 } d(u,v) \min \{ u到v的最短路的长度 \} d(u,v)min{u到v的最短路的…

Redis 的主从复制

Redis 的主从复制 1、主从复制的实现2、主从复制的同步功能(PSYNC)2.1、部分重同步 本文讲解的Redis 主从复制机制&#xff0c;是基于 2.8及以后的版本而言&#xff0c;2.8以前的版本主从复制机制与此有所不同&#xff0c;请知悉。 Redis的复制功能分为 同步 (psync) 和 命令传…

vm16安装最新版本的ubuntu虚拟机,并安装g++的步骤记录

背景 低版本的ubuntu安装G一直不成功&#xff0c;干脆安装最新版的 官网下载 bing搜索ubuntu 下载完成 vm16新建虚拟机 一直下一步&#xff0c;安装完成 终端输入命令 sudo apt-get update ᅟᅠ       sudo apt install gcc ᅟᅠ      sudo apt install g

【C/C++】设计模式——工厂模式:简单工厂、工厂方法、抽象工厂

创作不易&#xff0c;本篇文章如果帮助到了你&#xff0c;还请点赞 关注支持一下♡>&#x16966;<)!! 主页专栏有更多知识&#xff0c;如有疑问欢迎大家指正讨论&#xff0c;共同进步&#xff01; &#x1f525;c系列专栏&#xff1a;C/C零基础到精通 &#x1f525; 给大…