MySQL之深入InnoDB存储引擎——物理文件

文章目录

    • 一、参数文件
    • 二、日志文件
    • 三、表结构定义文件
    • 四、InnoDB 存储引擎文件
      • 1、表空间文件
      • 2、重做日志文件

一、参数文件

当 MySQL 实例启动时，数据库会先去读一个配置参数文件，用来寻找数据库的各种文件所在位置以及指定某些初始化参数。在默认情况下，MySQL 实例会按照一定的顺序在指定的位置读取，没有参数文件也可以运行，这时所有的参数值取决于编译 MySQL 时指定的默认值和源代码中指定参数的默认值。

但是如果在默认的数据库目录下找不到 mysql 架构，则启动同样失败，mysql 架构中记录了访问该实例的权限。

可以通过命令​**show variables**​来查看数据库中的所有参数（可以通过 like 来过滤参数名）。

MySQL 数据库中的参数可以分为两类：

  • 动态参数：可以在 MySQL 实例运行中进行更改
  • 静态参数：在整个实例生命周期内只读，不可进行修改

可以通过 set 命令对动态参数进行修改，通过@@global和@@session来指定是对当前会话进行修改还是对整个实例生命周期都生效。

二、日志文件

  • 错误日志

  • 慢查询日志：可以在 MySQL 启动时设置一个阈值，将运行时间超过该值的所有 SQL 语句都记录到慢查询日志文件中，该阈值可以通过参数 long_query_time 来设置，默认为 10 秒。默认情况下不开启慢查询日志，可以通过 log_slow_queries 参数来开启

    • log_queries_not_using_indexes 参数用来开启记录没有使用索引的 SQL 语句
    • log_throttle_queries_not_using_indexes 参数用来表示每分钟允许记录到 slow log 的且未使用索引的 SQL 语句次数，默认为 0，即没有限制
    • 可以通过 mysqldumpslow 命令来方便的查看相关的信息
    • 可以通过 log_output 指定慢查询输出的格式，默认为 FILE，可以将它设置为 TABLE，之后就可以查询 mysql 架构下的 slow_log 表

  • 查询日志：记录了所有对 MySQL 数据库请求的信息，无论请求是否得到了正确的执行（甚至包括 Access denied的请求）

  • 二进制日志：记录了对 MySQL 数据库执行更改的所有操作，不包括 SELECT 和 SHOW 这类操作（需要使用查询日志）

二进制日志文件主要右以下几种作用：

  • 恢复：某些数据的恢复需要二进制日志

    • 例如在一个数据库全备文件恢复后，用户可以通过二进制日志进行 point-in-time 的恢复

  • 复制：原理与恢复相似，通过复制和执行二进制日志使 slave 数据库与 master 数据库进行实时同步

  • 审计：用户可以通过二进制日志中的信息来进行审计，判断是否有对数据库进行注入的攻击

**二进制文件在默认情况下并没有启动，**需要手动指定参数来启动。开启这个选项会对数据库的整体性能有所影响，但是影响十分有限（1%）。如果使用 InnoDB 存储引擎进行复制，并且想得到最大的高可用性，建议开启。

在默认情况下，二进制日志并不是每次写的时候就同步磁盘，因此当数据库所在操作系统发生宕机时，可能会有最后一部分数据没有写入二进制日志文件。

  • sync_binlog=1：每次提交事务的时候直接使用 fsync 写入磁盘，不使用操作系统的缓冲、
  • sync_binlog=0（默认值）：每次提交事务的时候都保存到操作系统的 page cache，之后由文件系统自己控制缓存的刷新
  • sync_binlog>1：每次提交事务都先写到 page cache，等到积累了 N 个事务之后才 MySQL 调用操作系统刷新操作刷入盘

在这里插入图片描述

日志的记录格式有以下三种：

  1. STATEMENT：记录的是逻辑 SQL 语句

  2. ROW：记录的不再是简单的 SQL 语句，而是记录行更改情况，如果一个update语句修改一百行数据，那么这种模式下就会记录100行对应的记录日志

  3. MIXED：默认使用 STATEMENT 格式保存，一些情况下（无法完成主从复制的操作）使用 ROW 格式保存

    1. 使用了 UUID()、USER()、CURRENT_USER()、FOUND_ROWS()、ROW_COUNTS() 等不确定函数
    2. 使用了 INSERT DELAY 语句
    3. 使用了用户定义函数
    4. 使用了临时表

一个 SQL 在不同的时间点执行它们产生的数据变化和影响是不一样的，所以这种情况下，数据同步或恢复的时候就容易出现不一致的情况，因此使用 ROW 可以带来更好的可靠性。

binlog 是二进制文件，需要使用 mysqlbinlog 命令查看。

三、表结构定义文件

因为 MySQL 插件式存储引擎的体系结构的关系，MySQL 数据的存储是根据表的， 每个表都会有与之对应的文件。在 MySQL 8 之前不论表采用何种存储引擎，都有一个以 frm 为后缀名的文件，记录了该表的表结构定义。MySQL 8之后 InnoDB 存储引擎的表定义结构整合到 ibd 文件中，而 MyISAM 的 frm 文件变为 sdi 文件。

四、InnoDB 存储引擎文件

前面的文件都是 MySQL 数据库本身的文件，和存储引擎无关。除了这些文件外，每个表存储引擎还有自己独有的文件。

1、表空间文件

InnoDB 存储引擎可将所有数据存放于 ibdata* 的共享表空间，也可将每张表存放于独立的 .ibd 文件的独立表空间(部分数据)。共享表空间以及独立表空间都是针对数据的存储方式而言的。

  • 共享表空间：某一个数据库的所有的表数据，索引文件全部放在一个文件中，默认这个共享表空间的文件路径在 data 目录下。 默认的文件名为 ibdata1，初始大小为 10M。可以使用 innodb_data_file_path 设置一个或者多个文件组成表空间，同时可以指定大小属性，如果用完文件可以自动增长

    • 其中会包括 undo 信息，在事务未提交时数据即已经写入了表空间文件，当事务rollback时Undo信息不会被删除，但是此空间会被标记，后续会以覆盖的方式被重新使用
    • Changebuffer 和 doublewrite buffer 也保存在其中

  • 独立表空间：可以通过 innodb_file_per_table = ON 来开启独立表空间。开启后每个表都会生成独立的 .ibd 文件来进行存储

    • 包括了单独一个表的数据、索引等内容
    • 其余数据仍存放在共享表空间中，默认情况下独立表空间的存储位置也是在表的位置之中。

InnoDB 采用将存储的数据按表空间进行存放的设计。在默认配置下会有一个初始大小为 10 MB，名为 ibdata1 的文件，该文件就是默认的共享表空间文件。

2、重做日志文件

在默认情况下，data 目录下会有两个名为 ib_logfile0 和 ib_logfile1的文件。每个 InnoDB 存储引擎至少有一个重做日志文件组，每个文件组下至少有 2 个重做日志文件。为了得到更高的可靠性，可以设置多个镜像日志组，将不同的文件组放在不同的磁盘以此提高重做日志的可用性。

在日志组中每个重做日志文件的大小一致，并以循环写入的方式运行。InnoDB 存储引擎险些重做日志文件1，当到达文件的最后时，会切换至重做日志文件2，再当重做日志2也被写满时，会再切换到重做日志文件1中。

在这里插入图片描述

重做日志文件不能设置的太大，否则恢复时可能需要很长的时间，也不能设置的太小，否则可能导致一个事务的日志需要多次切换重做日志文件，并且导致频繁地发生 async checkpoint，导致性能的抖动。

与 binlog 的区别：

  1. binlog 会记录所有与 MySQL 数据库有关的日志记录，包括 InnoDB、MyISAM、Heap 等，而 redo log 只记录 InooDB 存储引擎本身的事务日志
  2. binlog 记录的是关于一个事务的具体操作内容，即该日志是逻辑日志，而 redo log 记录的是关于每个页的更改的物理情况
  3. binlog 仅在事务提交前进行提交，即一个事务只刷盘一次，而重做日志条目会在事务进行的过程中不断地写入到重做日志文件中
  4. binlog 是可以追加写入的（指 binlog 文件写到一定大小后会切换到下一个，并不会覆盖以前的日志，保存的是全量的日志），redo log 是循环写的，空间固定会用完，只会记录未刷盘的日志，已经刷入磁盘的数据都会因为空间有限而在后续被覆盖

虽然 binlog 拥有全量的日志，但没有一个标志让 innoDB 判断哪些数据已经刷盘，哪些数据还没有。而 redo log 每次刷盘会更新日志文件中的Check Point根据对应的LSN来判断该条操作是否已经落盘。所以redo log具有crash-safe能力

redo log 条目结构：

  • redo_log_type：一个字节，表示重做日志的类型
  • space：表空间的ID，采用压缩的方式，有可能小于 4 个字节
  • page_no：页的偏移量，同样采用压缩的方式
  • redo_log_body：重做日志的数据部分

重做日志缓冲往磁盘写入时，是按 512 个字节，也就是一个扇区的大小进行写入。因为扇区时写入的最小单位，因此可以保证写入必定是成功的，所以重做日志的写入过程中不需要有 doublewrite。

重做日志的写入磁盘的情况：

  1. 每秒 Master Thread 都会将重做日志缓冲写入磁盘的重做日志文件中，不论事务是否已经提交

  2. 事务提交时，根据 innodb_flush_log_at_trx_commit 参数控制：

    • 0 表示提交事务时不将事务的重做日志写入磁盘的日志文件，而是等待主线程每秒的刷新

    • 1 表示提交时将重做日志缓冲同步写到磁盘，即伴随 fsync

    • 2 表示提交时将重做日志缓冲异步写道磁盘，即写道文件系统的缓存中，因此不能完全保证在执行 commit 时肯定会写入重做日志文件

      • 设置为 2 时当数据库宕机而操作做系统以及服务器没有发生故障时数据不会丢失

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/74383.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

怎么才能远程控制笔记本电脑？

怎么才能远程控制笔记本电脑？

为什么选择AnyViewer远程控制软件？ 为什么AnyViewer是远程控制笔记本电脑软件的首选？以下是选择AnyViewer成为笔记本电脑远程控制软件的主要因素。 跨平台能力 AnyViewer作为一款跨平台远程控制软件，不仅可以用于从一台Windows电…
阅读更多...
【ARM Coresight 系列文章 2.4 - Coresight 寄存器：DEVARCH，DEVID， DEVTYPE】

【ARM Coresight 系列文章 2.4 - Coresight 寄存器：DEVARCH，DEVID， DEVTYPE】

文章目录 1.1 DEVARCH(device architecture register)1.2 DEVID(Device configuration Register)1.3 DEVTYPE(Device Type Identifier Register) 1.1 DEVARCH(device architecture register) DEVARCH 寄存器标识了coresight 组件的架构信息。 bits[31:21] 定义了组件架构&…
阅读更多...
我对排序算法的理解

我对排序算法的理解

排序算法一直是一个很困惑我的问题，早在刚开始接触 数据结构的时候，这个地方就很让我不解。就是那种，总是感觉少了些什么的感觉。一开始，重新来过，认真来学习这一部分，也总是学着学着就把概念记住了。过了一…
阅读更多...
【Mybatis】Mybatis架构简介

【Mybatis】Mybatis架构简介

文章目录 1.整体架构图2. 基础支撑层2.1 类型转换模块2.2 日志模块2.3 反射工具模块2.4 Binding 模块2.5 数据源模块2.6缓存模块2.7 解析器模块2.8 事务管理模块 3. 核心处理层3.1 配置解析3.2 SQL 解析与 scripting 模块3.3 SQL 执行3.4 插件 4. 接口层 1.整体架构图 MyBatis…
阅读更多...
Redis 数据库高可用

Redis 数据库高可用

Redis 数据库的高可用 一.Redis 数据库的持久化 1.Redis 高可用概念 （1）在web服务器中，高可用是指服务器可以正常访问的时间，衡量的标准是在多长时间内可以提供正常服务（99.9%、99.99%、99.999%等等）。 …
阅读更多...
2023年第四届“华数杯”数学建模思路 - 案例：随机森林

2023年第四届“华数杯”数学建模思路 - 案例：随机森林

## 0 赛题思路 （赛题出来以后第一时间在CSDN分享） https://blog.csdn.net/dc_sinor?typeblog 1 什么是随机森林？ 随机森林属于 集成学习 中的 Bagging（Bootstrap AGgregation 的简称） 方法。如果用图来表示他们之…
阅读更多...
【微信支付V3】

【微信支付V3】

微信支付V3 微信支付V3 开发文档&#xff1a; https://pay.weixin.qq.com/wiki/doc/apiv3/wxpay/pages/index.shtml 1. 查看文档 使用微信提供的SDK&#xff0c;在文档中进入SDK 2. 开发 1. 添加jar包 <dependency><groupId>com.github.wechatpay-apiv3<…
阅读更多...
使用adb通过电脑给安卓设备安装apk文件

使用adb通过电脑给安卓设备安装apk文件

最近碰到要在开发板上安装软件的问题&#xff0c;由于是开发板上的安卓系统没有解析apk文件的工具&#xff0c;所以无法通过直接打开apk文件来安装软件。因此查询各种资料后发现可以使用adb工具&#xff0c;这样一来可以在电脑上给安卓设备安装软件。 ADB 就是连接 Android 手…
阅读更多...
Java进阶——数据结构与算法之哈希表与树的入门小结（四）

Java进阶——数据结构与算法之哈希表与树的入门小结（四）

文章大纲 引言一、哈希表1、哈希表概述2、哈希表的基本设计思想3、JDK中的哈希表的设计思想概述 二、树1、树的概述2、树的特点3、树的相关术语4、树的存储结构4.1、双亲表示法4.2、孩子兄弟表示法&#xff1a;4.3、孩子表示法&#xff1a;4.4、双亲孩子表示法 三、二叉树1、二…
阅读更多...
SAM在医学图像分割的一些研究（Segment Anything Model for Medical Images?（2023））

SAM在医学图像分割的一些研究（Segment Anything Model for Medical Images?（2023））

使用预训练模型通过两种主要模式进行分割&#xff0c;包括自动一切和手动提示(例如&#xff0c;点和框)。SAM在各种自然图像分割任务上取得了令人印象深刻的效果。然而&#xff0c;由于医学图像的形态复杂、解剖结构精细、物体边界不确定和复杂、物体尺度大&#xff0c;使得医学…
阅读更多...
【第一阶段】kotlin的when表达式

【第一阶段】kotlin的when表达式

1.Java 的if /when是语句 kotlin的if/when是表达式&#xff0c;表达式是有返回值的 java中void是个关键字&#xff0c;Unit在kotlin中是个类 2.当使用when语句的时候必须有一个不满足的值即else: fun main() {var week:Int5val info when(week){1->"今天是星期一"…
阅读更多...
【iOS】—— UIKit相关问题

【iOS】—— UIKit相关问题

文章目录 UIKit常用的UIKit组件懒加载的优势 CALayer和UIView区别关系 UITableViewUITableView遵循的两个delegate以及必须实现的方法上述四个必须实现方法执行顺序其他方法的执行顺序&#xff1a; UICollectionView和UITableView的区别UICollectionViewFlowLayout和UICollecti…
阅读更多...
em3288 linux_4.19 第一次烧写无法进入内核的情况

em3288 linux_4.19 第一次烧写无法进入内核的情况

1. 情况一&#xff1a; /DDR Version 1.11 20210818 In SRX Channel a: DDR3 400MHz Bus Width32 Col10 Bank8 Row15 CS1 Die Bus-Width16 Size1024MB Channel b: DDR3 400MHz Bus Width32 Col10 Bank8 Row15 CS1 Die Bus-Width16 Size1024MB OUT Boot1 Release Time: Jul 22 2…
阅读更多...
Jenkins插件管理切换国内源地址

Jenkins插件管理切换国内源地址

一、替换国内插件下载地址 选择系统管理–>插件管理–> Available Plugins 并等待页面完全加载完成、这样做是为了把jenkins官方的插件列表下载到本地、接着修改地址文件、替换为国内插件地址 进入插件文件目录 cd /var/lib/jenkins/updatesdefault.json 为插件源地址…
阅读更多...
STM32 LWIP UDP 一对一 一对多发送

STM32 LWIP UDP 一对一 一对多发送

STM32 LWIP UDP通信 前言设置 IP 地址UDP函数配置实验结果单播发送&#xff0c;一对一发送广播发送&#xff0c;一对多发送 可能遇到的问题总结 前言 之前没有接触过网络的通信&#xff0c;工作需要 UDP 接收和发送通信&#xff0c;在网上没有找到一对一、一对多的相关例程&am…
阅读更多...
正则表达式在格式校验中的应用以及包装类的重要性

正则表达式在格式校验中的应用以及包装类的重要性

文章目录 正则表达式&#xff1a;做格式校验包装类&#xff1a;在基本数据类型与引用数据类型间的桥梁总结 在现代IT技术岗位的面试中&#xff0c;掌握正则表达式的应用以及理解包装类的重要性是非常有益的。这篇博客将围绕这两个主题展开&#xff0c;帮助读者更好地面对面试挑…
阅读更多...
IIC子系统-实现si7006温湿度传感器采集温湿度功能

IIC子系统-实现si7006温湿度传感器采集温湿度功能

1.将IIC核心层和总线驱动层配置进内核 *********************配置核心层*************************1.找到核心层代码目录&#xff1a;内核顶层目录/drivers/i2c2. 内核顶层目录执行make menuconfig3. > Device Drivers > I2C support ->-*-I2C support4.保存退出***…
阅读更多...
数据预处理matlab

数据预处理matlab

matlab数据的获取、预处理、统计、可视化、降维 数据的预处理 - MATLAB & Simulink - MathWorks 中国https://ww2.mathworks.cn/help/matlab/preprocessing-data.html 一、数据的获取 1.1 从Excel中获取 使用readtable() 例1&#xff1a; 使用spreadsheetImportOption…
阅读更多...
端口映射教程vs快解析内网穿透

端口映射教程vs快解析内网穿透

随着社会信息化的发展&#xff0c;很多人都开始关注网络问题&#xff0c;掌握一些基础的网络知识是非常有必要的。其中&#xff0c;端口映射作为一项重要的技术&#xff0c;在网络通信中起到了至关重要的作用。 端口映射在现实生活中有着广泛的应用。如果你是一位游戏爱好者&a…
阅读更多...
极狐GitLab 全新「价值流仪表盘」使用指南

极狐GitLab 全新「价值流仪表盘」使用指南

本文来源&#xff1a;about.gitlab.com 作者&#xff1a;Haim Snir 译者&#xff1a;极狐(GitLab) 市场部内容团队 GitLab / 极狐GitLab 价值流仪表盘的使用相对简单&#xff0c;这种可以定制化的仪表盘能够让决策者识别数字化转型进程中的趋势及机遇。 如果你已经在用 GitLab…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023