6.1 innoDb逻辑存储结构和架构-简介

InnoDB 是 MySQL 默认的存储引擎,以其强大的事务支持、崩溃恢复能力和高效的数据处理能力广受欢迎。本文从逻辑存储结构、内存架构、磁盘结构到后台线程,逐步剖析 InnoDB 的关键概念,帮助您更好地理解和应用。


1. 逻辑存储结构

InnoDB 的数据存储采用多层次的逻辑结构,具有极高的组织性和扩展性。

  • 表空间(Tablespace):InnoDB 数据存储的最高层次,负责组织数据文件。
  • 段(Segment):表空间的子单位,分为数据段(存储表数据)、索引段(存储索引)和回滚段。
  • 区(Extent):每个段由多个区组成,每个区包含 64 个连续的页(Page)。
  • 页(Page):InnoDB 数据存储的基本单位,默认大小为 16KB。
  • 行(Row):页中实际存储的记录数据。

1.1 特点

  • 分层结构使得数据管理更高效。
  • 页大小支持调整(4KB、8KB、16KB),以适应不同场景的需求。

1.2 逻辑存储结构图

在这里插入图片描述


2. 内存架构

内存架构是 InnoDB 高性能的核心部分。以下是主要组成部分及其作用:

2.1 缓冲池(Buffer Pool)

  • 简介:缓冲池是用于缓存表数据和索引的区域,占用 InnoDB 的大部分内存。
  • 作用:
    1. 减少磁盘 I/O:将数据和索引页缓存在内存中,减少磁盘读写。
    2. 脏页管理:修改后的页(脏页)被延迟写回磁盘,提高性能。

优化建议

  • 合理设置缓冲池大小(innodb_buffer_pool_size)。

  • 查看缓冲池命中率:

    SHOW ENGINE INNODB STATUS;
    

2.2 更改缓冲区(Change Buffer)

  • 简介:缓存对非唯一二级索引的修改操作,减少随机写磁盘的次数。
  • 作用:
    • 延迟写入:对二级索引的插入、更新和删除操作先缓存在更改缓冲区,后续批量写入磁盘。
    • 提升性能:在写密集型场景下效果显著。

2.3 自适应哈希索引(Adaptive Hash Index)

  • 简介:基于热点数据动态生成的哈希索引,用于加速等值查询。
  • 作用:
    1. 提高 B+ 树索引的查询效率。
    2. 减少多层索引节点的遍历。

查询是否开启

SHOW VARIABLES LIKE '%hash_index%';

2.4 日志缓存区

  • 简介:存储事务日志的内存区域。
  • 作用:
    1. 加速事务日志写入。
    2. 支持崩溃恢复。

查看相关参数

SHOW VARIABLES LIKE '%log_buffer_size%';
SHOW VARIABLES LIKE '%flush_log%';

innodb_flush_log_at_trx_commit 值的含义

  • 1:每次事务提交时立即写入磁盘,保证数据安全。
  • 0:日志保存在内存中,性能高但数据不安全。
  • 2:日志写入 OS 缓存,周期性刷盘,性能与安全性折中。

3. 磁盘结构

InnoDB 数据持久化依赖于磁盘结构,其设计确保了高效存储和事务一致性。

3.1 系统表空间

  • 简介:存储共享元数据、Undo 数据、事务日志等。
  • 作用:管理数据库的核心元数据。

查询指令

SHOW VARIABLES LIKE '%innodb_data_file_path%';

3.2 独立表空间(File-Per-Table Tablespaces)

  • 特点:每个表单独存储在一个 .ibd 文件中。
  • 优点:
    • 更灵活的备份和迁移。
    • 减少单个表空间的碎片。

3.3 通用表空间

  • 特点:支持多个表共享一个表空间。

  • 指令:

    • 创建表空间:

      CREATE TABLESPACE ts1 ADD DATAFILE 'ts1.ibd' ENGINE=InnoDB;
      
    • 表指定表空间:

      CREATE TABLE employees (...) TABLESPACE ts1;
      

3.4 Undo 表空间

  • 作用:存储回滚信息。
  • 特点:在事务回滚和多版本并发控制(MVCC)中发挥重要作用。

3.5 临时表空间

  • 简介:存储临时表的数据,仅在会话期间有效。

3.6 双写缓冲区

  • 作用:防止写操作中断导致数据损坏。
  • 机制:
    • 数据页先写入双写缓冲区。
    • 双写缓冲区再将数据写入表空间。

3.7 Redo Log 重做日志

  • 作用:记录事务的物理变化,用于崩溃恢复。
  • 组成:
    • Redo Log Buffer:内存中的日志缓冲。
    • Redo Log File:磁盘上的日志文件。

4. 后台线程

InnoDB 依靠多个后台线程管理内存、磁盘和事务。

4.1 Master Thread

  • 作用:调度和执行主要后台任务,如脏页刷新和更改缓冲区合并。

4.2 IO Thread

  • 作用:处理磁盘 I/O 请求。
  • 分类
类型作用默认线程数量
Read Thread处理读请求(从缓冲池读取页)默认 4(可配置)
Write Thread处理写请求(刷新脏页到磁盘)默认 4(可配置)
Insert Buffer Thread合并插入缓冲区的更改1
Log Thread刷新事务日志到磁盘1

注:

  1. Read Thread 和 Write Thread
    • 数量:默认均为 4,负责处理 I/O 操作,适用于大规模的并发读写。
    • 可配置参数 :
      • innodb_read_io_threads:配置读线程数量。
      • innodb_write_io_threads:配置写线程数量。
    • 作用:这些线程负责从磁盘读取数据页(读线程)或将脏页写入磁盘(写线程)。
  2. Insert Buffer Thread
    • 数量:固定为 1,无法通过配置改变。
    • 作用:在插入数据时,合并更改到二级索引的缓冲区。
  3. Log Thread
    • 数量:固定为 1。
    • 作用:负责将事务日志从缓冲区刷新到磁盘文件(如 redo log 文件)。
    • 优化机制:
      • 使用了组提交(group commit),提高日志刷新效率。

查看引擎状态

SHOW ENGINE INNODB STATUS;

4.3 Purge Thread

  • 作用:清理不再需要的 Undo 数据,减少表空间占用。

4.4 Page Cleaner Thread

  • 作用:刷新脏页到磁盘,减少事务提交时的延迟。

通过对 InnoDB 存储引擎的深入了解,可以更有效地优化 MySQL 数据库性能,提高系统的稳定性和可靠性。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/484234.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

SpringBoot小知识(4):高级配置知识与bean的绑定

一、EnableConfigurationProperties ConfigurationProperties注解在我们之前讲过,他是从配置中读取参数封装给实体类的一个注解。 那么EnableConfigurationProperties是个啥呢? EnableConfigurationProperties 是 Spring Framework 中用于启用基于配置文…

Vue 实现无线滚动效果

目录 1.Element-plus官网中的Infinite Scroll组件说明 2.滚动条设置 3.滚动到底部的函数调用 1.Element-plus官网中的Infinite Scroll组件说明 官网链接如下所示: Infinite Scroll 无限滚动 | Element Plus 首先查看该代码,发现这个组件使用了一个…

Spring Cloud Alibaba 之 “Sentinel”

从网上下载好sentinel-dashboard-1.6.3.jar,然后执行 java -jar sentinel-dashboard-1.6.3.jar,执行成功之后在浏览器输入localhost:8080,Sentinel的登录名和密码都是sentinel,登陆成功之后看到只有一个首页。 接下来开始整合Spring Cloud Alibaba Sen…

【Android】从事件分发开始:原理解析如何解决滑动冲突

【Android】从事件分发开始:原理解析如何解决滑动冲突 文章目录 【Android】从事件分发开始:原理解析如何解决滑动冲突Activity层级结构浅析Activity的setContentView源码浅析AppCompatActivity的setContentView源码 触控三分显纷争,滑动冲突…

用友NC yerfile/down SQL注入漏洞复现(XVE-2024-34596)

0x01 产品简介 用友NC(也称用友NC6或NCC)是用友网络科技股份有限公司开发的一款企业级管理软件,旨在为企业提供全方位的管理服务。主要面向大型企业和集团公司,提供全面的财务和业务管理解决方案,助力企业实现数字化转型和高效管理。采用J2EE架构和先进开放的集团级开发平…

Linux-GPIO应用编程

本章介绍应用层如何控制 GPIO,譬如控制 GPIO 输出高电平、或输出低电平。 只要是用到GPIO的外设,都有可能用得到这些操作方法。 照理说,GPIO的操作应该是由驱动层去做的,使用寄存器操作或者GPIO子系统之类的框架。 但是&#xff0…

18 - Java 线程

简介 进程(process) 对一个程序的运行状态, 以及在运行中所占用的资源(内存, CPU)的描述; 一个进程可以理解为一个程序; 但是反之, 一个程序就是一个进程, 这句话是错的。 进程的特点: 独立性: 不同的进程之间是相互独立的, 相互之间资源…

PyQt登录小窗口实现 内服代码及知识点总结

一、登录窗口 二、实现代码 import sysfrom PyQt6.QtGui import QIcon, QPixmap, QMovie from PyQt6.QtWidgets import QApplication, QWidget, QLabel, QPushButton, QLineEdit#封装我的窗口类 class MyWidget(QWidget):#构造函数def __init__(self):#初始化父类super().__in…

python之Django连接数据库

文章目录 连接Mysql数据库安装Mysql驱动配置数据库信息明确连接驱动定义模型在模型下的models.py中定义表对象在settings.py 中找到INSTALLED_APPS添加创建的模型 测试testdb.py中写增删改查操作urls.py添加请求路径启动项目进行测试 连接Mysql数据库 安装Mysql驱动 pip inst…

程序员需要具备哪些知识?

程序员需要掌握的知识广泛而深厚,这主要取决于具体从事的领域和技术方向。不过,有些核心知识是共通的,就像建房子的地基一样,下面来讲讲这些关键领域: 1. 编程语言: 无论你是搞前端、后端、移动开发还是嵌…

Java项目实战II基于微信小程序的电子竞技信息交流平台的设计与实现(开发文档+数据库+源码)

目录 一、前言 二、技术介绍 三、系统实现 四、核心代码 五、源码获取 全栈码农以及毕业设计实战开发,CSDN平台Java领域新星创作者,专注于大学生项目实战开发、讲解和毕业答疑辅导。获取源码联系方式请查看文末 一、前言 随着互联网技术的飞速发展…

【词向量表示】Item2Vec、DeepWalk、Node2vec、EGES词向量生成算法

前言:一般来说用户Embedding在推荐系统中可以通过物品的Embedding向量平均或者聚类实现,因此物品的Embedding算法的效果成为重中之重。这篇文章是笔者阅读《深度学习推荐系统》第四章Embedding技术在推荐系统中的应用的学习笔记。本篇文章主要介绍传统词…

【AI工具】强大的AI编辑器Cursor详细使用教程

目录 一、下载安装与注册 二、内置模型与配置 三、常用快捷键 四、项目开发与问答 五、注意事项与技巧 参考资料 近日,由四名麻省理工学院(MIT)本科生共同创立的Anysphere公司宣布,其开发的AI代码编辑器Cursor在成立短短两年…

交易所 Level-2 历史行情数据自动化导入攻略

用户部署完 DolphinDB 后,需要将历史股票数据批量导入数据库,再进行数据查询、计算和分析等操作。DolphinDB 开发了 ExchData 模块,主要用于沪深交易所 Level-2 行情原始数据的自动化导入,目前已支持的数据源包括: 沪…

zotero中pdf-translate插件和其他插件的安装

1.工具–》插件 2.找插件 3.点击之后看到一堆插件 4.找到需要的,例如pdf-translate 5.点击进入,需要看一下md文档了解下,其实最重要的就是找到特有的(.xpi file) 6.点击刚刚的蓝色链接 7.下载并保存xpi文件 8.回到zotero,安装并使…

5.12【机器学习】卷积模型搭建

softmax输出时不可能为所有模型提供精确且数值稳定的损失计算 model tf.keras.models.Sequential([tf.keras.layers.Flatten(input_shape(28, 28)),tf.keras.layers.Dense(128, activationrelu),tf.keras.layers.Dropout(0.2),tf.keras.layers.Dense(10) ]) mnist tf.keras…

头歌 Linux之线程管理

第1关:创建线程 任务描述 通常我们编写的程序都是单进程,如果在一个进程中没有创建新的线程,则这个单进程程序也就是单线程程序。本关我们将介绍如何在一个进程中创建多个线程。 本关任务:学会使用C语言在Linux系统中使用pthrea…

工业机器视觉-基于深度学习的水表表盘读数识别

字轮数字识别、指针读数识别(角度换算)、根据指针角度进行读数修正、根据最高位指针(x0.1)读数对字轮数字进行修正、得到最终读数。 基于深度学习的目标检测技术和OpenCV图像处理技术,可识别所有类型的表盘机械读数。

超详细MacBook Pro(M1)配置GO语言环境(图文超详细版)

前提 当我第一次使用MacBook配置Go语言环境时,网上的资料错综复杂,部分资料对于第一次使用MacBook的小白们非常不友好,打开终端时,终端的位置对应的访达中的位置不是很清楚,因此才有了这篇文章,该文章通过…

大数据项目-Django基于聚类算法实现的房屋售房数据分析及可视化系统

《[含文档PPT源码等]精品Django基于聚类算法实现的房屋售房数据分析及可视化系统》该项目含有源码、文档、PPT、配套开发软件、软件安装教程课程答疑等! 数据库管理工具:phpstudy/Navicat或者phpstudy/sqlyog 后台管理系统涉及技术: 后台使…