【MySQL】InnoDB的存储结构

InnoDB的存储结构:每个表都会生成一个表空间文件,这个文件里面最小结构就是行,存储的真正的数据,一个页来管理若干行,一个区来管理若干页,一个区组来管理若干区。段并不是真正的物理存储结构,它只是把这些数据结构划分成两部分(B+树的叶子节点和非叶子节点)。

真实的数据在表空间是以行的形式存储。

结构

行结构如下图所示:

真实数据部分

主键值:

如果表中定义了主键,就直接存储主键的值。

如果还有复合主键,则按照顺序一块存在主键值中。

如果没有定义主键,优先使用第一个 不为空 且 是 唯一 的字段作为主键。

如果 没有不为空且唯一的字段,就使用DB_ROW_ID作为主键,这个大小为6字节。

DB_TX_ID:

记录 创建或最后一次修改该 行 数据的事务ID。

DB_ROLL_PTR

如果在 事务中这条记录 被修改,这个回滚指针指向上一个版本。

其他数据:

这些非空数据从左往右依次存储。


额外信息

头信息:

  • 下一行偏移量:通过这个把所有的行链接形成一个单向链表。
  • 行类型:
    • 普通数据行
    • 索引目录行
    • 页内最小行(页是组织行的数据结构)
    • 页内最大行
  • 行在页内的位置
  • 目录组内行数:如果该行是组内最后一行,那么这个才有值
  • 非叶子节点最小行标记:如果当前行是索引目录行并且也是B+索引数某层的最小值,那么这个就置为1
  • 删除标记:删除行数据就是改变一下删除标志。
  • 预留信息

Null值列表:

使用位图的思想来存:在可以为空的列中,如果为空,就为1。这样就不用给空列留位置了。

变长字段长度列表: 

记录表中所有可变长度(varchar、varbinary、text、blob) 的 字段的实际长度(字节数)。这样在真实存的时候,就可以把列与列之间划分开来。

不同的字符编码下一个字符所占的字节大小不一样。

可以看到,最大的一个字符占4字节,最小的占1字节。所以2字节最大表示的数值的2^16=65536。65536/4 = 16384。也就是varchar长度的最大值。

当实际字节数 n (字符个数 × 单个字符所占字节) 不超过一个 字节能记录的大小 - 1(128-1=127),就用一个字节来记录。超过一个就用两个。也就是 n > 127 用两个 否则用 1个。

但是读取的时候是如何知道,要读一个字节还是两个呢。

首先先读最高位,如果为1,就在往前读一个字节,就是两个字节来表示长度

如果为0,就是一个字节来表示长度。

当可变类型是text、blob时,直接把这个列放入“溢出页”的独立表空间中,用20个字节来标记其位置。


行格式

上面结构中存储字段的策略就是动态格式(Dynamic)。也是默认选择的。

查看行格式

show variables like "innodb_default_row_format";

show table status in 数据库名\G

设定行格式

# 通过全局变量设置
SET GLOBAL innodb_default_row_format=DYNAMIC;
# 在创建表时明确的指定⾏格式
CREATE TABLE t1 (c1 INT) ROW_FORMAT=DYNAMIC;

冗余格式(Redundant)
已被淘汰,存在仅为了与旧版本 MySQL 兼容,不建议使用,这里不再讨论。

压缩格式(Compressed)
行结构与 DYNAMIC 完全相同,只是会对数据进行压缩,以减少对空间的占用。

紧凑格式(Compact)
在结构上与 DYNAMIC 相同,但在处理超长字段时有所不同。它不会把所有超长数据都放在溢出页中,而是会在本行中保留前768个字节的数据,多出的部分放在溢出页中。溢出页的地址额外使用20个字节表示。因此,在本行的列中会占用768 + 20个字节。


MySQL中的“页”是一个应用层的概念,是MySQL根据自身的应用场景定义的一种数据结构。通常,在操作系统的文件系统中,管理磁盘文件时以4KB大小为一个管理单元,称为“数据块”。但在数据库的应用场景中,查询的数据量通常较大。如果也使用4KB作为最小的数据存储单元,可能会显得太小,同时也会导致频繁的磁盘I/O操作,从而降低效率。因此,MySQL根据自身情况定义了大小为16KB的“页”作为磁盘管理的最小单位

show variables like "innodb_page_size";

修改的化必须得是4KB的整数倍

每次内存与磁盘的交互至少读取一个“页”。因此,在磁盘中,每个“页”内部的地址是连续的。这种设计是根据局部性原理而来:在数据使用过程中,未来可能会使用的数据与当前访问的数据在空间上是临近的。因此,当从磁盘读取一个页的数据放入内存中后,如果下次查询的数据仍在这个页中,就可以直接从内存中读取,从而减少磁盘I/O操作,提高性能。

结构

页是由 页头+若干数据行+页尾构成。

页头

校验和:FIL_PAGE_SPACE_OR_CHKSUM,用于页的完整性校验。

页号:FIL_PAGE_OFFSET 占用 4Byte,相当于 InnoDB 表中最多可以拥有 2^(4*8)-1 约 42 亿个。分别是1,2,3…依此类推,按照每页16KB 大小计算,一个表空间最大容量为 2^(4*8) * 16KB = 64TB,这也是 InnoDB 表空间最大容量是 64TB 的原因。

上一个页页号:FIL_PAGE_PREV
下一个页页号:FIL_PAGE_NEXT  多个页通过这两个信息组成双向链表,即使不同的页地址不连续,也可以通过链表连接。

表空间ID:FIL_PAGE_ARCH_LOG_NO_OR_SPACE_ID,当前页属于哪个表空间。

页类型:FIL_PAGE_TYPE,数据页对应的页类型是 FIL_PAGE_INDEX = 0x45BF。

最近一次修改的LSN:FIL_PAGE_LSN,占用 8Byte。

LSN(Log Sequence Number)是“日志序列号”的缩写,表示日志中记录的操作对应的时间点,使用一个任意的、不断增加的值来表示。LSN使用8字节的无符号长整型表示。

已被刷到磁盘的LSN:FIL_PAGE_FILE_FLUSH_LSN,占用 8Byte。

页尾

最近一次修改的LSN:与页头中的意义相同

校验和:与页头中的意义相同 


页的初始化

当创建表的时候,不知道表的数量级,所以为了节省空间,刚开始只创建 7个初始页(MySQL5.7是6个)

select * frominformation_schema.INNODB_TABLESPACES where name = '数据库/数据表'\G

这些零散的页会放在表空间中的碎片区,当碎片区达到32个页之后,后续如果还要申请空间,就会申请32个页,这32个页就是区,用来管理页的数据结构。


管理页的数据结构就是区。

结构

一个区管理32个页,刚好1M。

使用区的原因

  • 在一个区中,如果是相邻页,磁盘是顺序I/O的,这样读取会很快。
  • 在一个区中,如果不是相邻页,可以大幅减少磁头移动,读取也是较快。
  • 在不同区中,无法提升读取速度。所以要使用区组。
  • 如果频繁访问某个区中的页,可以把整个区都取出来放到内存中,减少后续可能的读取操作。

区组

区组是管理区的数据结构。

结构

一个区组管理256个区,其中第一个区组存的信息和其他的略有不同。

第一个区组

第一个区组中的第一个区的前四页比较特殊,也就是页初始化时候的前四页。

  • File Space Header(文件空间头):这一页存储了关于表空间和区组中各个区的元数据信息。它记录了表空间的状态、大小、分配情况以及每个区的使用信息。这对于InnoDB来说是管理磁盘空间和执行一些管理操作非常重要的信息。
  • Insert Buffer Bitmap(插入缓冲位图):插入缓冲是InnoDB用来加速对辅助索引的更新操作的一种机制。这个页存储了与插入缓冲相关的位图信息,用于跟踪哪些页在插入缓冲中。这有助于优化并发插入操作的性能(change buffer区域相关)。
  • File Segment inode(文件段inode):段inode页记录了关于InnoDB文件段(通常是表空间文件)的详细信息,包括段的位置、大小和其他管理信息。这些信息对于InnoDB存储引擎的存储和管理操作至关重要。
  • B-tree Node(B树节点):这个页存储了InnoDB中各种B+树索引的根节点信息。根节点是索引结构的起始点,包含了指向整个B+树的其它节点和叶子节点的指针。这使得InnoDB能够高效地查找和操作索引数据

其他闲置的页用来存放真实的数据。

其他的区组

其他区组的第一个区的前两个页都是一样的。

  • Extent Descriptor(XDES):区组条目信息:记录每个区的偏移并用双向链表连接
  • Insert Buffer Bitmap

其他闲置的页用来存放真实的数据。


上面的 行、页、区和区组都是物理结构来存储数据的,而段并非是物理结构的存储。段的主要作用是区分不同功能的区以及在碎片区中的页。主要分为两类:叶子节点段和非叶子节点段,这两个段对应于B+树索引结构中的叶子和非叶子节点。

表空间

表空间可以理解为MySQL为了管理数据而设计的一种数据结构,主要描述了数据结构的定义。表空间文件是这一定义的具体实现,以文件的形式存在于磁盘上。

表空间文件是用来存储表中数据的文件,其大小取决于存储的数据量。在MySQL中,表空间分为五类:

  1. 系统表空间
  2. 独立表空间
  3. 通用表空间
  4. 临时表空间
  5. 撤销表空间

每种表空间类型用于不同的数据存储和管理目的,在MySQL的数据库架构中,它们各自承担着特定的角色和功能。

当使用InnoDB存储引擎创建一个表时,默认会在数据目录对应的数据库子目录中生成相应的表空间文件,以 `.ibd` 为文件的后缀,用来存储数据和索引。如果每个表都对应一个表空间文件,这称为独立表空间。在MySQL 5.7及以后的版本中,默认每个表都会生成独立表空间。可以通过系统变量 `innodb_file_per_table` 控制这一行为。当这个选项被关闭时,所有表的数据将存储在系统表空间中。 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/363174.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Kotlin设计模式:代理模式详解

Kotlin设计模式:代理模式详解 在软件开发中,设计模式是解决常见问题的一种优雅方法。本文将介绍Kotlin中的代理模式(Proxy Pattern),其应用场景,以及如何通过实例代码实现这一模式。 代理模式的目的 代理…

YOLOV8图像分割预测后输出mask图

训练一个yolov8模型后,用官方的预测脚本一般是: results model.predict(img_path, saveTrue, save_diroutput_folder) 运行此代码会直接在run里面生成一个文件夹,保存预测图像。如果要获取分割后的mask点,或mask的轮廓点&#…

【2024最新华为OD-C/D卷试题汇总】[支持在线评测] 螺旋矩阵填数(100分) - 三语言AC题解(Python/Java/Cpp)

🍭 大家好这里是清隆学长 ,一枚热爱算法的程序员 ✨ 本系列打算持续跟新华为OD-C/D卷的三语言AC题解 💻 ACM银牌🥈| 多次AK大厂笔试 | 编程一对一辅导 👏 感谢大家的订阅➕ 和 喜欢💗 &#x1f…

C#——里氏转换详情

里氏转换 里氏转换就是派生类的对象赋值给父类对象,反之则不行 实例 : 先创键一个类然后继承 调用

一种502 bad gateway nginx/1.18.0的解决办法

背景:上线的服务突然挂掉了 step1,去后端日志查看,发现并无异常,就是请求无法被接收 step2,查看了nginx的错误日志,发现该文件为空 step3,查看了niginx的运行日志,发现了以下问题 [error] 38#…

第4章,在 PyCharm 中创建、打开、关闭项目的操作

在 PyCharm 中创建、打开、关闭项目的操作 在PyCharm中创建、打开和关闭项目的操作步骤。以下是每个操作的步骤说明,以及在PyCharm界面中可能对应的区域: 1、创建新项目 1)启动PyCharm: 打开PyCharm IDE。 2)创建新…

第4章 客户端-客户端管理

1. 客户端API 1.1client list client list命令能列出与Redis服务端相连的所有客户端连接信息。 127.0.0.1:6379> client list id254487 addr10.2.xx.234:60240 fd1311 name age8888581 idle8888581 flagsN db0 sub0 psub0 multi-1 qbuf0 qbuf-free0 obl0 oll0 omem0 events…

C# 类中访问修饰符的优先级

参考链接 : C# 指南 - .NET 托管语言 | Microsoft Learn 访问修饰符 - C# | Microsoft Learn

Redis 内存碎片是什么?如何清理?

Redis 内存碎片相关的问题在得物、美团、阿里、字节、携程等公司的后端面试中都曾出现过,还是建议认真准备一下。即使不是准备面试,日常开发也是能够用到的! 什么是内存碎片? 你可以将内存碎片简单地理解为那些不可用的空闲内存。 举个例子&…

计网实训——不相同网段的PC相互通信

目录 提前准备APP路由器指令 实验一1、实验需求(1)实现同网段的PC相互通信。(2)实现不相同网段的PC相互通信。(3)分析相同和不同网段PC通信时MAC地址的变化。 2、实验拓扑3、实验步骤及实验截图&#xff08…

如何用Vue3和Plotly.js绘制动态3D图表?

本文由ScriptEcho平台提供技术支持 项目地址:传送门 Plotly.js: 使用Vue.js动态加载数据并绘制图表 应用场景 在数据可视化应用中,需要将数据动态加载到图表中并进行实时更新。本文将展示如何使用Plotly.js和Vue.js实现这一功能,从加载外…

http发展史(http0.9、http1.0、http1.1、http/2、http/3)详解

文章目录 HTTP/0.9HTTP/1.0HTTP/1.1队头阻塞(Head-of-Line Blocking)1. TCP 层的队头阻塞2. HTTP/1.1 的队头阻塞 HTTP/2HTTP/3 http3详解:http://t.csdnimg.cn/h45r3 HTTP/0.9 发布时间:1991年 特点: 只支持 GET 方…

关于怎么将wireshark抓包视频流转为视频播放出来

0.安装wireshark 安装PotPlayer 1.将以下两个插件放入 C:\Program Files\Wireshark\plugins 目录中 2.筛选视频流数据包,右键Decode As… 改为RTP 或者 右键->follow(追踪流)->UDP stream 然后叉掉弹窗 3.选择菜单Edit->Prefe…

BUUCTF-WEB(第二天)

[极客大挑战 2019]Http 这题明显考察的是http协议,打开靶场访问什么也没有,F12来查看看控制台的html源码,直到最后那里我们才看到一个Secret.php文件4,所以直接访问即可。 回显字符串:It doesnt come from https://S…

探究互联网领域知识,解密数字化时代神秘面纱

随着信息时代的不断发展,互联网的发展呈现出爆炸式的增长,以至于引起广泛的关注和深入的探究。互联网作为一个庞大的网络体系,涵盖着无穷无尽的信息和知识,其背后的科技和应用已经改变了人们的生活,产生了翻天覆地的变…

每日一道算法题 有效括号序列

题目 有效括号序列_牛客题霸_牛客网 (nowcoder.com) Python 1长度必须为偶数 2就像开心消消乐一样,一左一右就消掉。 class Solution:def isValid(self , s: str) -> bool:# write code here# flag[(),{},[]]# for _ in range(len(s)//2):# for i in fl…

查普曼大学团队使用惯性动捕系统制作动画短片

道奇电影和媒体艺术学院是查普曼大学的知名学院,同时也是美国首屈一指的电影学院之一,拥有一流电影制作工作室。 最近,道奇学院的一个学生制作团队接手了一个项目,该项目要求使用真人动作、视觉效果以及真人演员和CG角色之间的互动…

Maven笔记(更新中)

一、Maven简介 Maven是一款为Java项目构建,依赖管理的工具(软件),使用Maven可以自动化构建,测试,打包和发布项目,大大提高了开发效率和质量 Maven主要作用理解 依赖管理 Maven可以管理项目的依赖,包括自动下载所需依赖库,自动下载依赖所需的依赖并且保证版本没有冲突,依赖版…

docker +tmux 远程本地gdb调试

文章目录 远程调试docker pull失败docker上容器运行程序失败宿主机远程调试docker中运行的程序环境准备调试步骤 本地调试bugpwngdbtmuxTmux复制粘贴到其他地方pwngdb和tmux优化~~感觉用了大佬的镜像后宿主机来做pwn题都不香了~~ 远程调试 但目前不知道如何实现可以边跟着脚本…

深入探索Java开发世界:Redis~类型分析大揭秘

文章目录 深入探索Java开发世界:Redis~类型分析大揭秘一、数据结构类型二、分布式锁类型三、事物命令类型四、事物三大特性类型 深入探索Java开发世界:Redis~类型分析大揭秘 Redis数据库基础知识,类型知识点梳理~ 一、数据结构类型 Redis是一…