MySQL 关键特性一:插入缓冲、双写缓冲

前言

​ 本文主要介绍 mysql 的几大特性之几,如:双写缓冲和插入缓存。

双写缓冲
基本概念

​ 双写缓冲(doublewrite buffer)是MySQL/InnoDB中用于支持原子页面更新的一种机制。在传统的数据库系统中,为了保证数据的一致性和可恢复性,通常需要进行冗余写入操作。这种冗余写入通过在原始数据写入后,再将这些数据写入一个额外的缓冲区来实现,从而确保即使在发生故障的情况下也能从备份数据中恢复。

核心就是通过备份数据页的方式保证数据的可靠性、一致性

​ 然而,这种冗余写入操作会对数据库性能产生负面影响,并且增加了存储设备的写入流量,尤其是在使用基于闪存的SSD作为存储介质时。随着非易失性内存(NVM)技术的发展,如PCM和STT-MRAM,它们提供了低延迟、高带宽、非易失性和高容量等特点,为改善数据库事务处理提供了新的可能性。

​ 在最新的研究中,提出了一种名为LSBM的日志结构化缓冲管理器,该管理器利用NVM技术来高效地原子更新页面。LSBM通过异地更新页面来实现原子性,并进行页面缓冲以提高性能。此外,LSBM还能够动态回收缓冲页面,以减少对存储的写入流量。通过在NVDIMM上实现LSBM并将其移植到MySQL/InnoDB中,实验结果表明LSBM不仅提高了数据库性能,还减少了在线事务处理(OLTP)工作负载上的写入流量。

​ 因此,对于使用MySQL/InnoDB的数据库系统来说,考虑采用基于NVM的LSBM可以有效地优化双写缓冲机制,既保持了数据的一致性和可恢复性,又显著提升了数据库的整体性能和存储效率。

结构
  1. 在内存结构中,Doublewrite Buffer由128个页(Page)构成,大小是2MB。这些页在内存中以Doublewrite Buffer的形式存在。

  2. 在磁盘结构中,Doublewrite Buffer在系统表空间上是128个页(2个区,extend1和extend2),大小也是2MB。这些页在磁盘上以Doublewrite File的形式存在。

工作流程
  1. 写操作触发: 当执行INSERT、UPDATE或DELETE等写操作时,MySQL首先将数据写入双写缓冲区。
  2. 同步到Doublewrite File: Doublewrite Buffer 的内存中的数据页会刷写到Doublewrite Buffer的磁盘上,分两次写入磁盘共享表空间中(连续存储,顺序写,性能很高),每次写1MB
  3. 实际数据写入: 一旦Doublewrite File中的数据被确认已经写入磁盘,MySQL就可以将这些数据写入实际的数据文件中
  4. 恢复机制: 如果在写操作过程中发生故障,MySQL可以从Doublewrite File中恢复数据。由于Doublewrite File中的数据是完整的,因此可以用来修复损坏的数据文件,确保数据的完整性和一致性。

在这里插入图片描述

为什么需要双写缓冲

​ 常见的服务器一般都是Linux操作系统,Linux文件系统页(OS Page)的大小默认是4KB。而MySQL的页(Page)大小默认是16KB。MySQL程序是跑在Linux操作系统上的,需要跟操作系统交互,所以MySQL中一页数据刷到磁盘,要写4个文件系统里的页。

​ 需要注意的是,这个操作并非原子操作,比如我操作系统写到第二个页的时候,Linux机器断电了,这时候就会出现问题了。造成”页数据损坏“。并且这种”页数据损坏“靠 redo日志是无法修复的。

重做日志中记录的是对页的物理操作,而不是页面的全量记录,而如果发生partial page write(部分页写入)问题时,出现问题的是未修改过的数据,此时重做日志(Redo Log)无能为力。写doublewrite buffer成功了,这个问题就不用担心了

插入缓冲
基本概念

​ MySQL的insert buffer是InnoDB存储引擎的一个重要特性,主要用于优化非聚集索引的插入和更新操作。以下是关于MySQL insert buffer的详细解释:

​ Insert buffer是一种特殊的数据结构(B+ tree),并不是缓存的一部分,而是物理页。当受影响的索引页不在buffer pool中时,MySQL会使用insert buffer来进行数据插入。

​ 对于非聚集索引的插入或更新操作,MySQL不会每次直接将数据插入到索引页中。相反,它会先将数据存储在一个临时的区域(即insert buffer)中,然后再逐步将这些数据合并到目标索引页中。

​ 从性能改进的角度来看,使用非集群次级索引可能会导致额外和随机的磁盘访问,从而降低存储设备的性能。MySQL的存储引擎通过插入缓冲来缓解这一问题,避免了额外的磁盘访问。这表明插入缓冲在减少磁盘I/O操作中起到了重要作用,有助于提高数据库的整体性能。

适用场景

​ MySQL在我们对非唯一的二级索引进行DML(删除行、写入行、修改行)时的优化

为什么是非唯一索引?

​ 当我们对唯一索引进行插入的时候需要查询数据是否唯一,如果数据在缓冲池中则直接读取缓冲池,如果数据不在缓冲池中则读取磁盘数据页,所以唯一索引会产生大量磁盘IO。

原理

对非唯一二级索引插入的流程如下:

  1. 数据在缓冲池中,直接修改缓冲池数据页
  2. 数据不在缓冲池中
    1. 写入到 insert buffer,异步刷新到磁盘

insert buffer 数据写回磁盘的时机:

  1. 辅助索引页被读取到缓冲池时
    1. 当辅助索引页被读取到缓冲池时,例如正在执行正常的 select 查询操作,这时需要检查 Insert Buffer Bitmap 页,然后确认该辅助索引页是否有记录存放于 Insert Buffer B+ 树中。若有,则将 Insert Buffer B+ 树中该页的记录插入到辅助索引页中
  2. insert buffer bitmap 页追踪到该辅助索引页已经没有可用空间
    1. Insert Buffer Bitmap是InnoDB存储引擎中用于追踪每个辅助索引页的可用空间,并确保至少有1/32页的空间以防止插入操作导致页面溢出。这个特殊的数据页类型可以标记多个辅助索引页的可用空间,以保证每次合并插入操作的成功
  3. Master Thread
    1. 在 Master Thread 中每秒或每10秒会进行一次 Merge Insert Buffer 操作

为什么 insert buffer 能提高性能

​ Insert Buffer B+ 树通过将对数据页的多次操作通过一次操作合并到原有的辅助索引中

insert buffer 提高了哪方面的性能

减少了磁盘随机读,因为当数据不在内存页的时候也不用去磁盘读取对应的数据页再更新数据页,而是直接存储在 Insert Buffer 中,再择机刷会磁盘

insert log 和 redo log 的区别
  1. 功能和目的
    • Insert Buffer:主要用于优化非聚集索引(辅助索引)的插入操作。当受影响的索引页不在Buffer Pool中时,会将其放入Insert Buffer中,以便后续合并操作。
    • Redo Log:用于保证事务的原子性和持久性,记录的是页的物理修改操作,用来恢复提交事务修改的页操作。
  2. 数据结构
    • Insert Buffer:是一种特殊的数据结构(B+ tree),并不是缓存的一部分,而是物理页。
    • Redo Log:由每个512字节大小的日志块组成,存储在内存中的redo log buffer中。
  3. 应用场景
    • Insert Buffer:主要针对非聚集索引的插入或更新操作,当插入的索引页不在Buffer Pool中时使用。
    • Redo Log:主要用于恢复提交后的物理数据页,确保数据的一致性和持久性
Reference
  1. https://cloud.tencent.com/developer/article/2398501
  2. https://www.cnblogs.com/booksea/p/17380938.html
  3. https://juejin.cn/post/6953442154249191454

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/340801.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

计网ppt标黄知识点整理第(4)章节——谢希仁版本、期末复习自用

路由器:查找转发表,转发分组。 IP网的意义:当互联网上的主机进行通信时,就好像在一个网络上通信一样,看不见互连的各具体的网络异构细节。如果在这种覆盖全球的 IP 网的上层使用 TCP 协议,那么就…

VB.net实战(VSTO):Excel插件的安装与卸载

1. 安装 1.1编程环境:Visual Studio 2022 1.2创建新项目: 1.3 加入一行测试程序:MsgBox(“hello”),点击启动,确认可以弹窗 1.4 点击发布 1.5 找到安装程序,点击安装。打开Excel程…

radsystems教程的基本使用之时间字段范围检索

前言: 根据之前的文章,我相信大部分人都能够做到,页面的数据展示,基本的查询功能。我们知道的是这个数值范围检索是非常容易实现的,但是这个时间字段范围检索并不是很如愿。 细心的朋友会发现每次用Date Fied这个组件…

Java18+​App端采用uniapp+开发工具 idea hbuilder智能上门家政系统源码,一站式家政服务平台开发家政服务

Java18​App端采用uniapp开发工具 idea hbuilder智能上门家政系统源码,一站式家政服务平台开发 家政服务 家政服务是一个专为家政服务人员设计的平台,该平台旨在提供便捷、高效的工作机会,同时确保服务质量和客户体验。 以下是关于家政服务师…

【HarmonyOS】应用振动效果实现

一、问题背景: 应用在强提醒场景下,一般会有马达振动的效果,提示用户注意力的关注。 比如消息提醒,扫码提示,删除键确认提示等。 针对高定制化或者固定的振动方式,我们需要有不同的方案实现,马…

Java常规题技术分享

一、数组排序和添加成员 设计类Student和类StudentClass。 (1) 类Student有字符串属性name、double属性grade和int属性age 有带参数的构造方法,可设置三个属性的值 有各个属性的置取方法 (2)类StudentClass有Student数组属性stus存放班级成员,有int…

嵌入式科普(20)2024瑞萨技术交流日

没有来参加技术交流日的一天,可能就是决定一生的一天。 分享2024瑞萨技术交流日MVP结算画面: 强烈建议点击b站小程序,听背景音乐,感受九子夺嫡结算MVP,四爷王上加白。从此以后写代码再也不出bug 嵌入式科普(20)2024瑞…

MobileNetV4实战:使用MobileNetV4实现图像分类任务(一)

文章目录 摘要安装包安装timm 数据增强Cutout和MixupEMA项目结构计算mean和std生成数据集 摘要 论文链接:https://arxiv.org/pdf/2404.10518 MobileNetV4,作为新一代移动设备神经网络架构,凭借其创新的通用倒置瓶颈UIB块和Mobile MQA注意力块…

Ubuntu20.04 Mysql基本操作知识

#Mysql基本知识 运行环境Ubuntu20.04 1.开启mysql服务 sytemctl start mysql不然,命令行进入myql交互行提交命令后,就会出现4200错误。 2.显示所有数据库 SHOW DATABASES;注意复数s,毕竟很多数据库 3.新建数据库test CREATE DATABASE …

【C语言】详解函数(庖丁解牛版)

文章目录 1. 前言2. 函数的概念3.库函数3.1 标准库和头文件3.2 库函数的使用3.2.1 头文件的包含3.2.2 实践 4. 自定义函数4.1 自定义函数的语法形式4.2 函数的举例 5. 形参和实参5.1 实参5.2 形参5.3 实参和形参的关系 6. return 语句6. 总结 1. 前言 一讲到函数这块&#xff…

重磅消息! Stable Diffusion 3将于6月12日开源 2B 版本的模型,文中附候补注册链接。

在OpenAI发布Sora后,Stability AI也发布了其最新的模型Stabled Diffusion3, 之前的文章中已经和大家介绍过,感兴趣的小伙伴可以点击以下链接阅读。Sora是音视频方向,Stabled Diffusion3是图像生成方向,那么两者没有必然的联系&…

秋招突击——算法打卡——5/30——复习{最大上升子序列的和、面试算法缺陷补充}——新做:{回文数+补充 自定义Stoi实现、正则表达式匹配}

文章目录 复习导弹拦截——最大上升子序列和推理过程实现代码补充昨日面试 新作回文数实现代码 字符串转整数正则表达式匹配个人实现思路分析实现代码如下 参考做法思路分析实现代码 总结 复习 导弹拦截——最大上升子序列和 同样类型题目链接:导弹拦截重做这道题…

vue+vscode 快速搭建运行调试环境与发布

1.安装node.js Node.js — Run JavaScript Everywhere 默认不断next 2.更换镜像地址 运行-cmd 执行以下代码安装 npm config set registry https://registry.npmmirror.com 检查node.js和镜像是否是否成功 node -v npm -v npm config get registry 3.安装打包工具 …

echarts学习:基本使用和组件封装

前言 我在工作中使用echarts较少,这就导致每次使用时都要从头再来,这让我很头疼。因此我决心编写一系列文章将我参与工作后几次使用echarts所用到的知识记录下来,以便将来可以快速查阅。 一、基本使用 像我一样的新手,想要入门e…

.NET IoC 容器(三)Autofac

目录 .NET IoC 容器(三)AutofacAutofacNuget 安装实现DI定义接口定义实现类依赖注入 注入方式构造函数注入 | 属性注入 | 方法注入注入实现 接口注册重复注册指定参数注册 生命周期默认生命周期单例生命周期每个周期范围一个生命周期 依赖配置Nuget配置文…

新手教程之使用LLaMa-Factory微调LLaMa3

文章目录 为什么要用LLaMa-Factory什么是LLaMa-FactoryLLaMa-Factory环境搭建微调LLaMA3参考博文 为什么要用LLaMa-Factory 如果你尝试过微调大模型,你就会知道,大模型的环境配置是非常繁琐的,需要安装大量的第三方库和依赖,甚至…

英伟达GPU架构加速狂飙

NVIDIA首席执行官黄仁勋在台湾大学体育馆发表主题演讲,展示了新一代Rubin架构,这是NVIDIA加速推出新架构的最新成果。 在讨论NVIDIA下一代架构时,黄仁勋提到了Blackwell Ultra GPU,并表示它可能会继续升级。然后他透露&#xff0c…

Unity 之 Android 【获取设备的序列号 (Serial Number)/Android_ID】功能的简单封装

Unity 之 Android 【获取设备的序列号 (Serial Number)/Android_ID】功能的简单封装 目录 Unity 之 Android 【获取设备的序列号 (Serial Number)/Android_ID】功能的简单封装 一、简单介绍 二、获取设备的序列号 (Serial Number) 实现原理 1、Android 2、 Unity 三、注意…

蓝牙网关和蓝牙mesh网关的对比

蓝牙网关和蓝牙Mesh网关是物联网(IoT)领域中两种重要的设备,它们各自有不同的特点和应用场景。以下是它们的一些主要对比和区别 1. 网络结构: - 蓝牙网关:通常采用点对点或星型拓扑结构,一个网关连接多个…

Scikit-Learn 基础教程

目录 🐋Scikit-Learn 基础教程 🐋Scikit-Learn 简介 🐋 数据预处理 🦈数据集导入 🦈数据清洗 🦈特征选择 🦈特征标准化 🐋 模型选择 🦈分类模型 🦈回…