InnoDB的存储结构:每个表都会生成一个表空间文件,这个文件里面最小结构就是行,存储的真正的数据,一个页来管理若干行,一个区来管理若干页,一个区组来管理若干区。段并不是真正的物理存储结构,它只是把这些数据结构划分成两部分(B+树的叶子节点和非叶子节点)。
行
真实的数据在表空间是以行的形式存储。
结构
行结构如下图所示:
真实数据部分
主键值:
如果表中定义了主键,就直接存储主键的值。
如果还有复合主键,则按照顺序一块存在主键值中。
如果没有定义主键,优先使用第一个 不为空 且 是 唯一 的字段作为主键。
如果 没有不为空且唯一的字段,就使用DB_ROW_ID作为主键,这个大小为6字节。
DB_TX_ID:
记录 创建或最后一次修改该 行 数据的事务ID。
DB_ROLL_PTR:
如果在 事务中这条记录 被修改,这个回滚指针指向上一个版本。
其他数据:
这些非空数据从左往右依次存储。
额外信息
头信息:
- 下一行偏移量:通过这个把所有的行链接形成一个单向链表。
- 行类型:
- 普通数据行
- 索引目录行
- 页内最小行(页是组织行的数据结构)
- 页内最大行
- 行在页内的位置
- 目录组内行数:如果该行是组内最后一行,那么这个才有值
- 非叶子节点最小行标记:如果当前行是索引目录行并且也是B+索引数某层的最小值,那么这个就置为1
- 删除标记:删除行数据就是改变一下删除标志。
- 预留信息
Null值列表:
使用位图的思想来存:在可以为空的列中,如果为空,就为1。这样就不用给空列留位置了。
变长字段长度列表:
记录表中所有可变长度(varchar、varbinary、text、blob) 的 字段的实际长度(字节数)。这样在真实存的时候,就可以把列与列之间划分开来。
不同的字符编码下一个字符所占的字节大小不一样。
可以看到,最大的一个字符占4字节,最小的占1字节。所以2字节最大表示的数值的2^16=65536。65536/4 = 16384。也就是varchar长度的最大值。
当实际字节数 n (字符个数 × 单个字符所占字节) 不超过一个 字节能记录的大小 - 1(128-1=127),就用一个字节来记录。超过一个就用两个。也就是 n > 127 用两个 否则用 1个。
但是读取的时候是如何知道,要读一个字节还是两个呢。
首先先读最高位,如果为1,就在往前读一个字节,就是两个字节来表示长度
如果为0,就是一个字节来表示长度。
当可变类型是text、blob时,直接把这个列放入“溢出页”的独立表空间中,用20个字节来标记其位置。
行格式
上面结构中存储字段的策略就是动态格式(Dynamic)。也是默认选择的。
查看行格式
show variables like "innodb_default_row_format";
show table status in 数据库名\G
设定行格式
# 通过全局变量设置
SET GLOBAL innodb_default_row_format=DYNAMIC;
# 在创建表时明确的指定⾏格式
CREATE TABLE t1 (c1 INT) ROW_FORMAT=DYNAMIC;
冗余格式(Redundant)
已被淘汰,存在仅为了与旧版本 MySQL 兼容,不建议使用,这里不再讨论。
压缩格式(Compressed)
行结构与 DYNAMIC 完全相同,只是会对数据进行压缩,以减少对空间的占用。
紧凑格式(Compact)
在结构上与 DYNAMIC 相同,但在处理超长字段时有所不同。它不会把所有超长数据都放在溢出页中,而是会在本行中保留前768个字节的数据,多出的部分放在溢出页中。溢出页的地址额外使用20个字节表示。因此,在本行的列中会占用768 + 20个字节。
页
MySQL中的“页”是一个应用层的概念,是MySQL根据自身的应用场景定义的一种数据结构。通常,在操作系统的文件系统中,管理磁盘文件时以4KB大小为一个管理单元,称为“数据块”。但在数据库的应用场景中,查询的数据量通常较大。如果也使用4KB作为最小的数据存储单元,可能会显得太小,同时也会导致频繁的磁盘I/O操作,从而降低效率。因此,MySQL根据自身情况定义了大小为16KB的“页”作为磁盘管理的最小单位。
show variables like "innodb_page_size";
修改的化必须得是4KB的整数倍
每次内存与磁盘的交互至少读取一个“页”。因此,在磁盘中,每个“页”内部的地址是连续的。这种设计是根据局部性原理而来:在数据使用过程中,未来可能会使用的数据与当前访问的数据在空间上是临近的。因此,当从磁盘读取一个页的数据放入内存中后,如果下次查询的数据仍在这个页中,就可以直接从内存中读取,从而减少磁盘I/O操作,提高性能。
结构
页是由 页头+若干数据行+页尾构成。
页头
校验和:FIL_PAGE_SPACE_OR_CHKSUM,用于页的完整性校验。
页号:FIL_PAGE_OFFSET 占用 4Byte,相当于 InnoDB 表中最多可以拥有 2^(4*8)-1 约 42 亿个。分别是1,2,3…依此类推,按照每页16KB 大小计算,一个表空间最大容量为 2^(4*8) * 16KB = 64TB,这也是 InnoDB 表空间最大容量是 64TB 的原因。
上一个页页号:FIL_PAGE_PREV
下一个页页号:FIL_PAGE_NEXT 多个页通过这两个信息组成双向链表,即使不同的页地址不连续,也可以通过链表连接。
表空间ID:FIL_PAGE_ARCH_LOG_NO_OR_SPACE_ID,当前页属于哪个表空间。
页类型:FIL_PAGE_TYPE,数据页对应的页类型是 FIL_PAGE_INDEX = 0x45BF。
最近一次修改的LSN:FIL_PAGE_LSN,占用 8Byte。
LSN(Log Sequence Number)是“日志序列号”的缩写,表示日志中记录的操作对应的时间点,使用一个任意的、不断增加的值来表示。LSN使用8字节的无符号长整型表示。
已被刷到磁盘的LSN:FIL_PAGE_FILE_FLUSH_LSN,占用 8Byte。
页尾
最近一次修改的LSN:与页头中的意义相同
校验和:与页头中的意义相同
页的初始化
当创建表的时候,不知道表的数量级,所以为了节省空间,刚开始只创建 7个初始页(MySQL5.7是6个)
select * frominformation_schema.INNODB_TABLESPACES where name = '数据库/数据表'\G
这些零散的页会放在表空间中的碎片区,当碎片区达到32个页之后,后续如果还要申请空间,就会申请32个页,这32个页就是区,用来管理页的数据结构。
区
管理页的数据结构就是区。
结构
一个区管理32个页,刚好1M。
使用区的原因
- 在一个区中,如果是相邻页,磁盘是顺序I/O的,这样读取会很快。
- 在一个区中,如果不是相邻页,可以大幅减少磁头移动,读取也是较快。
- 在不同区中,无法提升读取速度。所以要使用区组。
- 如果频繁访问某个区中的页,可以把整个区都取出来放到内存中,减少后续可能的读取操作。
区组
区组是管理区的数据结构。
结构
一个区组管理256个区,其中第一个区组存的信息和其他的略有不同。
第一个区组
第一个区组中的第一个区的前四页比较特殊,也就是页初始化时候的前四页。
- File Space Header(文件空间头):这一页存储了关于表空间和区组中各个区的元数据信息。它记录了表空间的状态、大小、分配情况以及每个区的使用信息。这对于InnoDB来说是管理磁盘空间和执行一些管理操作非常重要的信息。
- Insert Buffer Bitmap(插入缓冲位图):插入缓冲是InnoDB用来加速对辅助索引的更新操作的一种机制。这个页存储了与插入缓冲相关的位图信息,用于跟踪哪些页在插入缓冲中。这有助于优化并发插入操作的性能(change buffer区域相关)。
- File Segment inode(文件段inode):段inode页记录了关于InnoDB文件段(通常是表空间文件)的详细信息,包括段的位置、大小和其他管理信息。这些信息对于InnoDB存储引擎的存储和管理操作至关重要。
- B-tree Node(B树节点):这个页存储了InnoDB中各种B+树索引的根节点信息。根节点是索引结构的起始点,包含了指向整个B+树的其它节点和叶子节点的指针。这使得InnoDB能够高效地查找和操作索引数据
其他闲置的页用来存放真实的数据。
其他的区组
其他区组的第一个区的前两个页都是一样的。
- Extent Descriptor(XDES):区组条目信息:记录每个区的偏移并用双向链表连接
- Insert Buffer Bitmap
其他闲置的页用来存放真实的数据。
段
上面的 行、页、区和区组都是物理结构来存储数据的,而段并非是物理结构的存储。段的主要作用是区分不同功能的区以及在碎片区中的页。主要分为两类:叶子节点段和非叶子节点段,这两个段对应于B+树索引结构中的叶子和非叶子节点。
表空间
表空间可以理解为MySQL为了管理数据而设计的一种数据结构,主要描述了数据结构的定义。表空间文件是这一定义的具体实现,以文件的形式存在于磁盘上。
表空间文件是用来存储表中数据的文件,其大小取决于存储的数据量。在MySQL中,表空间分为五类:
- 系统表空间
- 独立表空间
- 通用表空间
- 临时表空间
- 撤销表空间
每种表空间类型用于不同的数据存储和管理目的,在MySQL的数据库架构中,它们各自承担着特定的角色和功能。
当使用InnoDB存储引擎创建一个表时,默认会在数据目录对应的数据库子目录中生成相应的表空间文件,以 `.ibd` 为文件的后缀,用来存储数据和索引。如果每个表都对应一个表空间文件,这称为独立表空间。在MySQL 5.7及以后的版本中,默认每个表都会生成独立表空间。可以通过系统变量 `innodb_file_per_table` 控制这一行为。当这个选项被关闭时,所有表的数据将存储在系统表空间中。