MYSQL09_行格式概述、变长字段、NULL值、记录头信息、真实数据、内部结构

文章目录

  • ①. InnoDB - 行格式概述
  • ②. 变长字段长度列表
  • ③. NULL值列表
  • ④. 记录头信息5字节
  • ⑤. 记录的真实数据
  • ⑥. Compact行记录的内部结构
  • ⑦. Dynamic和Compressed行格式

①. InnoDB - 行格式概述

  • ①. 我们平时的数据以行为单位来向表中插入数据,这些记录在磁盘上的存放方式也被称为行格式或者记录格式

  • ②. InnoDB存储引擎设计了4种不同类型的行格式,分别是Compact、Redundant、Dynamic和Compressed行格式

# 查看MySQL8的默认行格式
mysql> SELECT @@innodb_default_row_format;
+-------------------------------------+
| @@innodb_default_row_format |
+-------------------------------------+
| dynamic                                   |
+-------------------------------------+
1 row in set (0.00 sec)
  • ③. 指定行格式的语法
# 在创建或修改表的语句中指定行格式:
CREATE TABLE 表名 (列的信息) ROW_FORMAT=行格式名称
ALTER TABLE 表名 ROW_FORMAT=行格式名称

mysql> CREATE TABLE record_test_table (->     col1 VARCHAR(8),->     col2 VARCHAR(8) NOT NULL,->     col3 CHAR(8),->     col4 VARCHAR(8)-> ) CHARSET=ascii ROW_FORMAT=COMPACT;
Query OK, 0 rows affected (0.03 sec)
INSERT INTO record_test_table(col1, col2, col3, col4) 
VALUES
('zhangsan', 'lisi', 'wangwu', 'songhk'), 
('tong', 'chen', NULL, NULL);
  • ④. 在MySQL 5.1版本中,默认设置为Compact行格式。一条完整的记录其实可以被分为记录的额外信息和记录的真实数据两大部分
    在这里插入图片描述

②. 变长字段长度列表

  • ①. MySQL支持一些变长的数据类型,比如VARCHAR(M)、VARBINARY(M)、TEXT类型,BLOB类型,这些数据类型修饰列称为变长字段,变长字段中存储多少字节的数据不是固定的,所以我们在存储真实数据的时候需要顺便把这些数据占用的字节数也存起来。在Compact行格式中,把所有变长字段的真实数据占用的字节长度都存放在记录的开头部位,从而形成一个变长字段长度列表
    注意:这里面存储的变长长度和字段顺序是反过来的。比如两个varchar字段在表结构的顺序是a(10),b(15)。那么在变长字段长度列表中存储的长度顺序就是15,10,是反过来的

  • ②. 以record_test_table表中的第一条记录举例:因为record_test_table表的col1、col2、col4列都是VARCHAR(8)类型的,所以这三个列的值的长度都需要保存在记录开头处,注意record_test_table表中的各个列都使用的是ascii字符集每个字符只需要1个字节来进行编码
    在这里插入图片描述

  • ③. 因为这些长度值需要按照列的逆序存放,所以最后变长字段长度列表的字节串用十六进制表示的效果就是各个字节之间实际上没有空格,用空格隔开只是方便理解
    06 04 08

  • ④. 把这个字节串组成的变长字段长度列表填入上边的示意图中的效果就是
    在这里插入图片描述

③. NULL值列表

  • ①. 存储NULL是因为数据都是需要对齐的,如果没有标注出来NULL值的位置,就有可能在查询数据的时候出现混乱。如果使用一个特定的符号放到相应的数据位表示空置的话,虽然能达到效果,但是这样很浪费空间,所以直接就在行数据得头部开辟出一块空间专门用来记录该行数据哪些是非空数据,哪些是空数据,格式如下
  1. 二进制位的值为1时,代表该列的值为NULL
  2. 二进制位的值为0时,代表该列的值不为NULL

  • ②. 例如:字段 a、b、c,其中a是主键,在某一行中存储的数依次是 a=1、b=null、c=2。那么Compact行格式中的NULL值列表中存储:01。第一个0表示c不为null,第二个1表示b是null。这里之所以没有a是因为数据库会自动跳过主键,因为主键肯定是非NULL且唯一的,在NULL值列表的数据中就会自动跳过主键

  • ③.record_test_table的两条记录的NULL值列表就如下
    在这里插入图片描述

④. 记录头信息5字节

  • ①. SQL准备
mysql> CREATE TABLE page_demo(->     c1 INT,->     c2 INT,->     c3 VARCHAR(10000),->     PRIMARY KEY (c1)-> ) CHARSET=ascii ROW_FORMAT=Compact;
Query OK, 0 rows affected (0.03 sec)

在这里插入图片描述

  • ②. 这些记录头信息中各个属性如下
    在这里插入图片描述
  • ③. 简化后的行格式示意图
    在这里插入图片描述
  • ④. delete_mask:这个属性标记着当前记录是否被删除,占用1个二进制位
  1. 值为0:代表记录并没有被删除
  2. 值为1:代表记录被删除掉了
  3. 被删除的记录为什么还在页中存储呢？
    你以为它删除了,可它还在真实的磁盘上。这些被删除的记录之所以不立即从磁盘上移除,是因为移除它们之后其他的记录在磁盘上需要重新排列,导致性能消耗。所以只是打一个删除标记而已,所有被删除掉的记录都会组成一个所谓的垃圾链表,在这个链表中的记录占用的空间称之为可重用空间,之后如果有新记录插入到表中的话,可能把这些被删除的记录占用的存储空间覆盖掉。
  • ⑤. min_rec_mask
  1. B+树的每层非叶子节点中的最小记录都会添加该标记,min_rec_mask值为1。
  2. 我们自己插入的四条记录的min_rec_mask值都是0,意味着它们都不是B+树的非叶子节点中的最小记录
  • ⑥. record_type:表示当前记录的类型,一共有4种类型的记录
  1. 0:表示普通记录
  2. 1:表示B+树非叶节点记录目录记录
  3. 2:表示最小记录
  4. 3:表示最大记录
  5. 从图中我们也可以看出来,我们自己插入的记录就是普通记录,它们的record_type值都是0,而最小记录和最大记录的record_type值分别为2和3。至于record_type为1的情况,我们在索引的数据结构章节讲过
  • ⑦. heap_no:这个属性表示当前记录在本页中的位置。
  1. 从图中可以看出来,我们插入的4条记录在本页中的位置分别是:2、3、4、5
  2. 怎么不见heap_no值为0和1的记录呢？
  3. MySQL会自动给每个页里加了两个记录,由于这两个记录并不是我们自己插入的,所以有时候也称为伪记录或者虚拟记录。这两个伪记录一个代表最小记录,一个代表最大记录。最小记录和最大记录的heap_no值分别是0和1,也就是说它们的位置最靠前
  • ⑧. n_owned
  1. 页目录中每个组中最后一条记录的头信息中会存储该组一共有多少条记录,作为 n_owned 字段。
  2. 详情见page directory
  • ⑨. next_record
  1. 记录头信息里该属性非常重要,它表示从当前记录的真实数据到下一条记录的真实数据的地址偏移量。
  2. 比如:第一条记录的next_record值为32,意味着从第一条记录的真实数据的地址处向后找32个字节便是下一条记录的真实数据。
  3. 注意,下一条记录指得并不是按照我们插入顺序的下一条记录,而是按照主键值由小到大的顺序的下一条记录。而且规定Infimum记录也就是最小记录的下一条记录就是本页中主键值最小的用户记录,而本页中主键值最大的用户记录的下一条记录就是 Supremum记录也就是最大记录。下图用箭头代替偏移量表示next_record
    在这里插入图片描述
    演示:删除操作在这里插入图片描述在这里插入图片描述在这里插入图片描述

⑤. 记录的真实数据

  • ①. 记录的真实数据除了我们自己定义的列的数据以外,还会有三个隐藏列
    在这里插入图片描述
  • ②. 际上这几个列的真正名称其实是:DB_ROW_ID、DB_TRX_ID、DB_ROLL_PTR。
  1. 一个表没有手动定义主键,则会选取一个Unique键作为主键,如果连Unique键都没有定义的话,则会为表默认添加一个名为row_id的隐藏列作为主键。所以row_id是在没有自定义主键以及Unique键的情况下才会存在的
  2. 事务ID和回滚指针在后面的讲解

⑥. Compact行记录的内部结构

  • ①. SQL准备
CREATE TABLE mytest(
col1 VARCHAR(10),
col2 VARCHAR(10),
col3 CHAR(10),
col4 VARCHAR(10)
)ENGINE=INNODB CHARSET=LATIN1 ROW_FORMAT=COMPACT;INSERT INTO mytest
VALUES('a','bb','bb','ccc');INSERT INTO mytest
VALUES('d','ee','ee','fff');INSERT INTO mytest
VALUES('d',NULL,NULL,'fff');
  • ②. 在Windows操作系统下,可以选择通过程序UltraEdit打开表空间文件mytest.ibd这个二进制文件。内容如下:
    在这里插入图片描述
  • ③. 该行记录从0000c078开始,若整理一下,相信大家会有更好的理解
  1. 注意1:InnoDB每行有隐藏列TransactionID和Roll Pointer。:
  2. 注意2:固定长度CHAR字段在未能完全占用其长度空间时,会用0x20来进行填充。
  3. 接着再来分析下Record Header的最后两个字节,这两个字节代表next_recorder,0x2c代表下一个记录的偏移量,即当前记录的位置加上偏移量0x2c就是下条记录的起始位置
03 02 01                     /*变长字段长度列表,逆序*/
00                              /*NULL标志位,第一行没有NULL值*/
00 00 10 00 2c            /*Record Header,固定5字节长度*/
00 00 00 2b 68 00       /*RowID InnoDB自动创建,6字节*/
00 00 00 00 06 05       /*TransactionID*/
80 00 00 00 32 01 10   /*Roll Pointer*/
61                               /*列1数据'a'*/
62 62                          /*列2数据'bb'*/
62 62 20 20 20 20 20 20 20 20/*列3数据'bb'*/
63 63 63                     /*列4数据'ccc'*/
  • ④. 第二行将不做整理,除了RowID不同外,它和第一行大同小异,现在来分析有NULL值的第三行
03 01                               /*变长字段长度列表,逆序*/
06                                   /*NULL标志位,第三行有NULL值*/
00 00 20 ff 98                  /*Record Header*/
00 00 00 2b 68 02           /*RowID*/
00 00 00 00 06 07           /*TransactionID*/
80 00 00 00 32 01 10       /*Roll Pointer*/
64                                   /*列1数据'd'*/
66 66 66                         /*列4数据'fff'*/

  • ⑤. 第三行有NULL值,因此NULL标志位不再是00而是06,转换成二进制为00000110,为1的值代表第2列和第3列的数据为NULL。在其后存储列数据的部分,用户会发现没有存储NULL列,而只存储了第1列和第4列非NULL的值

  • ⑥. 这个例子很好地说明了:不管是CHAR类型还是VARCHAR类型,在compact格式下NULL值都不占用任何存储空间

⑦. Dynamic和Compressed行格式

  • ①. 行溢出:InnoDB存储引擎可以将一条记录中的某些数据存储在真正的数据页面之外

  • ②. 很多DBA喜欢MySQL数据库提供的VARCHAR(M)类型,认为可以存放65535字节。这是真的吗？如果我们使用 ascii字符集的话,一个字符就代表一个字节,我们看看VARCHAR(65535)是否可用

CREATE  TABLE  varchar_size_demo(c  VARCHAR(65535))  CHARSET=ascii  ROW_FORMAT=Compact;
# 结果如下
ERROR 1118 (42000): Row size too large. The maximum row size for the used table type, not counting BLOBs, is 65535. This includes storage overhead, check the manual. You have  to  change  some  columns  to  TEXT or  BLOBs

  • ③. 报错信息表达的意思是:MySQL对一条记录占用的最大存储空间是有限制的,除BLOB或者TEXT类型的列之外, 其他所有的列不包括隐藏列和记录头信息占用的字节长度加起来不能超过65535个字节

  • ④. 这个65535个字节除了列本身的数据之外,还包括一些其他的数据,以Compact行格式为例,比如说我们为了存储一个VARCHAR(M)类型的列,除了真实数据占有空间以外,还需要记录的额外信息

  • ⑤. 如果该VARCHAR类型的列没有NOT NULL属性,那最多只能存储65532个字节的数据,因为变长字段的长度占用 2个字节,NULL值标识需要占用1个字节

CREATE  TABLE  varchar_size_demo(c  VARCHAR(65532)
)  CHARSET=ascii  ROW_FORMAT=Compact;
  • ⑥. 如果有not null属性,那么就不需要NULL值标识,也就可以多存储一个字节,即65533个字节
CREATE  TABLE  varchar_size_demo( c  VARCHAR(65533)  not  null
)  CHARSET=ascii  ROW_FORMAT=Compact;

  • ⑦. 通过上面的案例,我们可以知道一个页的大小一般是16KB,也就是16384字节,而一个VARCHAR(M)类型的列就最多可以存储65533个字节,这样就可能出现一个页存放不了一条记录,这种现象称为行溢出

  • ⑧. 在Compact和Reduntant行格式中,对于占用存储空间非常大的列,在记录的真实数据处只会存储该列的一部分数据,把剩余的数据分散存储在几个其他的页中进行分页存储,然后记录的真实数据处用20个字节存储指向这些页的地址当然这20个字节中还包括这些分散在其他页面中的数据的占用的字节数,从而可以找到剩余数据所在的页
    在这里插入图片描述

  • ⑦. 在MySQL 8.0中,默认行格式就是Dynamic,Dynamic、Compressed行格式和Compact行格式挺像,只不过在处理行溢出数据时有分歧

  1. Compressed和Dynamic两种记录格式对于存放在BLOB中的数据采用了完全的行溢出的方式。如图,在数据页中只存放20个字节的指针溢出页的地址,实际的数据都存放在Off Page溢出页中
  2. Compressed和Dynamic两种记录格式对于存放在BLOB中的数据采用了完全的行溢出的方式。如图,在数据页中只存放20个字节的指针溢出页的地址,实际的数据都存放在Off Page溢出页中
  3. Compressed行记录格式的另一个功能就是,存储在其中的行数据会以zlib的算法进行压缩,因此对于BLOB、TEXT、VARCHAR这类大长度类型的数据能够进行非常有效的存储
    在这里插入图片描述
  • ⑧. Redundant是MySQL 5.0版本之前InnoDB的行记录存储方式,MySQL 5.0支持Redundant是为了兼容之前版本的页格式
  1. 少了"变长"两个字:Redundant行格式会把该条记录中所有列包括隐藏列的长度信息都按照逆序存储到字段长度偏移列表
  2. 多了"偏移"两个字:这意味着计算列值长度的方式不像Compact行格式那么直观,它是采用两个相邻数值的差值来计算各个列值的长度
    在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/308715.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

IP查询在追踪网络攻击源头中的应用

IP查询在追踪网络攻击源头中的应用

随着网络攻击事件的不断增加，追踪攻击源头成为网络安全领域的重要任务之一。IP查询技术通过分析网络流量中的IP地址，可以帮助确定攻击的来源。本文将探讨IP查询在追踪网络攻击源头中的应用，包括其原理、方法以及实际案例分析。 IP地址查询&a…
阅读更多...
linux(ub)-redis环境部署

linux(ub)-redis环境部署

1.下载redis包 wget http://download.redis.io/releases/redis-7.0.5.tar.gz 2.解压缩： tar -zxvf redis-7.0.5.tar.gz 3.安装gcc：sudo apt-get install gcc 4. 编译：cd redis-7.0.5 make make make install 5. cd /usr/local/bin/ 6. mkdir …
阅读更多...
21.5k Star , AI 智能体项目OpenDevin：少写代码，多创造（附部署教程）

21.5k Star , AI 智能体项目OpenDevin：少写代码，多创造（附部署教程）

Aitrainee | 公众号：AI进修生 这是一个旨在复制 Devin 的开源项目，Devin 是一位自主人工智能软件工程师，能够执行复杂的工程任务并在软件开发项目上与用户积极协作。该项目致力于通过开源社区的力量复制、增强和创新 Devin。 Devin 代表了一…
阅读更多...
STK与matlab交互 Astrogator模块 （11）

STK与matlab交互 Astrogator模块 （11）

一、背景知识 前面由于定轨的大作业，关于Astrogator模块的学习有所滞后，在本节将重新聚焦Astrogator模块，在本节中，首先解决的问题是已知两个卫星的轨道六根数，求解其中某一颗卫星LVLH坐标下另一颗卫星的位置速度。这…
阅读更多...
一起学习python——基础篇（20）

一起学习python——基础篇（20）

前言，之前经常从网上找一些免费的接口来测试，有点受制于人的感觉。想了想还不如直接写一个接口，这样方便自己测试。自己想返回什么格式就返回什么样子，不用担心服务报错，因为自己就可以完全掌控。然后宿舍二哥告诉我py…
阅读更多...
（四）qt中使用ffmpeg播放视频，可暂停恢复

（四）qt中使用ffmpeg播放视频，可暂停恢复

一、在qt中添加ffmpeg库及头文件 INCLUDEPATH /usr/local/ffmpeg/include LIBS -L/usr/local/lib -lavutil -lavcodec -lavformat -lswscale 二、详细代码 FFempegVideoDecode 视频解码类（放入线程中） ffmpegvideodecode.h #ifndef FFMPEGVIDEODE…
阅读更多...
NAT技术

NAT技术

网络技术深似海呀，一段时间不用又忘。 是什么 NAT技术是网络防火墙技术的一部分，可以作用在linux防火墙或者设备防火墙，NAT技术可以实现地址和端口的转换，主要还是为了网络连通性。 作用 存在以下三个IP，A(10.234.…
阅读更多...
阿里云OSS使用流程

阿里云OSS使用流程

准备工作 无论怎么样，你需要准备一个阿里云账号，点击：注册阿里云 输入相关信息，然后注册成功以后，点击 然后注册成功了，实名一下阿里云账号。打开实名入口，选择个人实名或者企业实名。 如果你…
阅读更多...
在Mac主机上连接Linux虚拟机

在Mac主机上连接Linux虚拟机

前言 最近醉心于研究Linux，于是在PD上安装了一个Debian Linux虚拟机，用来练练手。但是每次在mac和Linux之间切换很是麻烦，有没有一种方法，可以在mac终端直接连接我的虚拟机，这样在mac终端上就可以直接操控我的Linux虚…
阅读更多...
【C语言】——字符串函数的使用与模拟实现（上）

【C语言】——字符串函数的使用与模拟实现（上）

【C语言】——字符串函数 前言一、 s t r l e n strlen strlen 函数1.1、函数功能1.2、函数的使用1.3、函数的模拟实现（1）计数法（2）递归法（3）指针 - 指针 二、 s t r c p y strcpy strcpy 函数2.1、函数功能…
阅读更多...
tkinter窗口组件Entry

tkinter窗口组件Entry

from tkinter import * 创建主窗口 app Tk() 设置窗口大小为1040x2048(手机) app.geometry(“1040x2048”) 设置窗口背景为灰色 app.configure(bg“gray”) 定义一个函数text()，用于处理输入框内容的变化 def text(): # 获取输入框e1的内容 if e1.get() “…
阅读更多...
JS/TS笔记学习1

JS/TS笔记学习1

周末总得学点什么吧~ 奥利给! 跑火车 递归 减速 let currentIndex 0; let speed 500; // 初始速度，单位是毫秒 let decrement 20; // 每次迭代速度减少的量 const cells document.querySelectorAll(.cell); function highlightCell() { cells.forEach(…
阅读更多...
常见的锁策略,synchronized优化过程和cas过程

常见的锁策略,synchronized优化过程和cas过程

1. 常见的锁策略 所谓"策略",也可以理解为做法."锁策略"就是用来描述一把锁面对加锁/解锁时的做法. 1.1 乐观锁 vs 悲观锁 要区分一把锁是乐观锁还是悲观锁,就要预测当前这把锁冲突的概率高不高. 如果冲突概率高,后续要做的工作往往会更多,加锁的开销就…
阅读更多...
使用阿里云试用Elasticsearch学习：4. 聚合——2

使用阿里云试用Elasticsearch学习：4. 聚合——2

近似聚合 如果所有的数据都在一台机器上，那么生活会容易许多。 CS201 课上教的经典算法就足够应付这些问题。如果所有的数据都在一台机器上，那么也就不需要像 Elasticsearch 这样的分布式软件了。不过一旦我们开始分布式存储数据，就需要小心…
阅读更多...
Docker 安装 RocketMQ

Docker 安装 RocketMQ

目录 一、新建两个配置文件 1.1 创建docker-compose.yml文件 1.2 .新建broker.conf文件 二、运行 三、可视化界面 一、新建两个配置文件 1.1 创建docker-compose.yml文件 version: 3.5 services:rmqnamesrv:image: foxiswho/rocketmq:servercontainer_name: rmqnamesrvports…
阅读更多...
用html写一个雨的特效

用html写一个雨的特效

<!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>雨特效</title><link rel"stylesheet" href"./style.css"> </head> <body> <div id"wrap-textu…
阅读更多...
43岁百亿千金夫妇国外旅游高调放闪，羡煞好友马国明

43岁百亿千金夫妇国外旅游高调放闪，羡煞好友马国明

萧正楠早前忙着拍摄TVB新剧《奔跑吧&#xff01;勇敢的女人们》&#xff0c;剧集煞科后他即和老婆黄翠如一起到意大利旅行。两公婆分别在IG大晒旅行靓相&#xff0c;甜蜜满泻。 这次萧正楠的旅游照都是由翠如亲自操刀拍摄&#xff0c;相中所见&#xff0c;萧正楠在广场大摆Chok…
阅读更多...
竞赛 协同过滤电影推荐系统

竞赛 协同过滤电影推荐系统

文章目录 1 简介1 设计概要2 课题背景和目的3 协同过滤算法原理3.1 基于用户的协同过滤推荐算法实现原理3.1.1 步骤13.1.2 步骤23.1.3 步骤33.1.4 步骤4 4 系统实现4.1 开发环境4.2 系统功能描述4.3 系统数据流程4.3.1 用户端数据流程4.3.2 管理员端数据流程 4.4 系统功能设计 …
阅读更多...
AI人工智能讲师大模型培训讲师叶梓 大语言模型（LLM）在科学文献摘要领域的应用

AI人工智能讲师大模型培训讲师叶梓 大语言模型（LLM）在科学文献摘要领域的应用

大语言模型&#xff08;LLM&#xff09;在科学文献摘要领域的应用是一个前沿且迅速发展的技术趋势。通过结合GitHub上yobibyte的Compressor项目&#xff0c;我们可以深入探讨这一技术方案的潜力和实现方式。 技术背景 随着科学研究的快速发展&#xff0c;每天都有大量的科学文…
阅读更多...
【软考中级】软件设计师考点分布

【软考中级】软件设计师考点分布

文章目录 软考官网资格设置软考报考流程 【软件设计师】考点分布选择题考点分布案例题考点分布 软考官网 中国计算机技术职业资格网&#xff1a;https://www.ruankao.org.cn/ 官网报名平台&#xff1a;https://bm.ruankao.org.cn/sign/welcome 资格设置 计算机软件计算机网…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023

友情链接： 我的编程经验分享 一条长河网 尧图网站开发