如何保证MySQL与Redis缓存的数据一致性?

文章目录

  • 一、引言
  • 二、场景来源
  • 三、高并发解决方案
    • 1. 先更新缓存,再更新数据库
    • 2. 先更新数据库,再更新缓存
    • 3. 先删除缓存,再更新数据库
    • 4. 先更新数据库,再删除缓存
    • 小结
  • 四、拓展方案
    • 1. 分布式锁与分布式事务
    • 2. 消息队列
    • 3. 监听binlog
  • 五、总结
  • 六、参考文章

一、引言

在现代互联网应用中,高并发场景下的数据访问是一个常见的挑战。为了提高数据访问速度,通常会使用 Redis 作为缓存层,但这也会带来数据一致性的难题。在四月份的时候,我参考现有资料编写了一篇数据库和缓存一致性处理方案的文档(原文链接:如何保证数据库、缓存的双写一致?),但总觉得内容有点空洞,介绍不够彻底。
本文将尝试重新介绍一下该问题。

二、场景来源

传统的系统通常基于 MySQL 和 Java 开发,虽然它们在数据持久化和事务处理方面表现出色,但在高并发场景下,单纯依赖数据库已经难以满足快速响应和高吞吐量的需求。而在现代互联网应用中,高性能和高可用性是系统设计的关键目标。
在这里插入图片描述
为了应对这一挑战,越来越多的系统开始引入 Redis 作为缓存层,以提升数据访问速度和系统整体性能。然而随着 Redis 的引入,读取数据的流程也随之变化。
在这里插入图片描述
如果是只读系统,这个流程也不错。但在高并发读写系统中,这个流程就有待完善啦!

三、高并发解决方案

引入Redis后,任何缓存数据的变更都可能会涉及如下三个操作:更新数据库、更新缓存和删除缓存。如果使用排列组合,可能的解决方案有四种:

  • 先更新缓存,再更新数据库
  • 先更新数据库,再更新缓存
  • 先删除缓存,再更新数据库
  • 先更新数据库,再删除缓存

我们逐个分析上述方案。

1. 先更新缓存,再更新数据库

该方案的步骤如下:
在这里插入图片描述
如果更新缓存成功后,数据库更新失败,就会出现数据库为旧值,缓存为新值的情况。后续的所有的读请求,在缓存未过期或缓存未重新正确更新的情况下,会一直保持脏数据(数据库中的值为旧值,而Redis缓存为新值),业务应该以数据库数据为准。
在这里插入图片描述
如果更新缓存成功,数据库更新失败,我们重新更新缓存呢?
抛开重新更新缓存时,要单表或多表重新查询数据,再更新数据带来的潜在性能问题,我们直接使用旧值更新,还可能更新失败,也有其他请求更新数据再次陷入脏数据的情况。
在这里插入图片描述
只要缓存进行了更新,后续的读请求在更新数据库前、更新数据库失败并重新更新缓存成功前,如果命中缓存,返回的数据都是未落库的脏数据。
结论:该方案不考虑

2. 先更新数据库,再更新缓存

该方案的步骤如下:
在这里插入图片描述
如果数据库更新成功,缓存更新失败,会出现数据库为最新值,缓存为旧值的情况。后续的所有的读请求,在缓存未过期或缓存未重新正确更新的情况下,会一直保持数据不一致!
就算上述更新数据库、更新缓存的操作都成功,还是存在并发引发的一致性问题:
在这里插入图片描述
如上图,可以看到经过两次更新后,数据库n更新为3,而缓存n更新为2。在并发读写的场景下,数据存在不一致性问题。
结论:该方案不考虑

3. 先删除缓存,再更新数据库

该方案的步骤如下:
在这里插入图片描述
这是一种很常见的方法。它逻辑较为简单,也易于理解和实现,理论上删除旧缓存后,下次读取时将从数据库获取最新数据。
但在高并发的极端情况下,删除缓存成功后,如果再有大量的并发请求进来,那么请求便会直接到达数据库,对数据库造成巨大的压力。即便使用了一些并发访问策略保障了只有一个请求到达数据库,那也相当于上述第一步的删除的数据又重新加载到Redis中,而且此方案还可能会发生数据不一致性问题。
在这里插入图片描述
通过上图发现删除缓存后,如果有并发读请求进来,那么查询缓存肯定是不存在,则去读取数据库。此时更新数据库n=2的操作还未完成,所以读取到的仍然是旧值n=1。设置缓存n=1后,更新数据库n=2完成。此时数据库n是新值2,而缓存是旧值1,出现了数据不一致的问题。
对此,我们采用延时双删策略优化。即在更新数据库之后,先延迟等待一会儿(等待时间参考该读请求的响应时间+几十毫秒),再继续删除缓存。这样做的目的是确保读请求结束(它已经在数据库中读取到了旧数据,后续会在该请求中更新缓存),写请求可以删除读请求造成的缓存脏数据,保证再删除缓存之后的所有读请求都能读到最新值。
在这里插入图片描述
可以看出此优化的关键在于再次删除前需要等待多长时间。这个时间一般都是根据历史查询请求的响应时间判断的,但实际情况会有浮动。这也导致如果等待的时间过短,则仍然会出现数据不一致的情况;等待时间过长,则等待期间出现数据不一致的时间变长。
另外延时双删策略还需要考虑如果再次删除缓存失败的情况如何处理?
如果再次删除失败将导致后续的所有的读请求,在缓存未过期或缓存未重新正确更新的情况下,会一直保持了数据的完全不一致!
这个在下文讨论。
结论:该方案不考虑

4. 先更新数据库,再删除缓存

该方案的步骤如下:
在这里插入图片描述
对比以上方案,在大多数情况下,这种方案被认为是一个更好的选择。原因如下:

  • 数据的一致性:这种方法更倾向于保持数据的最终一致性,即使缓存删除失败,也能保证数据的一致性不会长期受损。
  • 用户体验:在方案3并发读写都成功的情况下,还是会出现数据不一致的情况,用户可能会一直看到旧数据,直到缓存过期。相比之下,该方案可以在某种程度上避免这种情况。

但该方案同样也会出现数据不一致性问题,如下图:
在这里插入图片描述

当数据库被更新后,缓存也被删除。接下来的出现读请求3.1和写请求3.2同时进来。
读请求先执行,读取缓存发现未命中后查询数据库并获取数值2,在准备更新缓存n=2时,写请求执行并完成了更新数据库和删除缓存,然后读请求才更新缓存n=2。此时,数据库为新值3,缓存为旧值2。
其实延迟双删策略,算是融合“先删除缓存,再更新数据库”和“先更新数据库,再删除缓存”的策略,可以解决大部分的数据一致性的业务逻辑处理问题。如果再次删除缓存失败,也可以通过重试机制进行一定程度的补救。
结论:推荐使用该方案

小结

从上面的四种方案看,似乎没有一种方案真正能解决并发场景下MySQL数据与Redis缓存数据一致性的问题。如果业务要求必须要满足强一致性,那么不管如何优化缓存策略,似乎都无法满足,那最好的办法是不用缓存。

强一致性:它要求系统写入什么,读出来的也会是什么,用户体验好,但实现起来往往对系统的性能影响大。
解决方案是读写串行化,而此方案会大大增加系统的处理效率,吞吐量也会大大降低。

另外在大型分布式系统中,其实分布式事务大多数情况都不会使用,因为维护成本太高了、复杂度也高。所以在分布式系统,我们一般都会推崇最终一致性,即这种一致性级别约束了系统在写入成功后,不承诺立即可以读到写入的值,也不承诺多久之后数据能够达到一致,但会尽可能地保证到某个时间级别(比如秒级别)后,数据能够达到一致状态。

四、拓展方案

这种双写的场景,其实还有另外三种方案,虽然应用场景并不多,但也确实提供了不同的思路,可以参考下。

1. 分布式锁与分布式事务

使用分布式事务可以确保两个操作的原子性。步骤如下:

  1. 开启事务。
  2. 更新数据库。
  3. 更新 Redis 缓存。
  4. 提交事务。

读写操作流程如下:

写操作读操作
写请求读请求

这种方式确保了数据库和缓存的一致性,适用于对数据一致性要求较高的场景。但它的实现比较复杂,增加了系统的复杂性。而且这种方式也会产生额外的性能开销。

2. 消息队列

使用消息队列可以异步处理数据更新操作,确保数据库和缓存的一致性。通过消息队列可以解耦数据更新的逻辑,提高系统的可扩展性和可靠性。
步骤如下:

  1. 更新数据库。
  2. 发送更新数据的消息到消息队列。
  3. 消费者从消息队列中读取更新数据的消息,删除 Redis 缓存。

3. 监听binlog

canal是阿里巴巴 MySQL binlog 增量订阅&消费组件。它基于 MySQL 数据库增量日志解析,提供增量数据订阅和消费。通过监听binlog,也可以实现双写一致性,步骤如下:

  1. 更新数据库
  2. 通过canal采集binlog日志,订阅更新信息并发送到消息队列
  3. 通过ACK手动机制确认处理这条更新消息,删除Redis缓存数据

在这里插入图片描述
尽管该方案看起来也不错了,但是因为引入额外的组件(如Canal、消息队列)复杂性增加了也不少,需要维护和监控这些组件的运行状态,保证组件运行正常。

五、总结

在高并发场景下,确保 MySQL 和 Redis 之间的数据一致性是分布式系统设计中的一个重要挑战。本文介绍了多种解决方案,每种方案都有其适用场景和优缺点。其实并没有一个最优解,更多的是需要综合考虑系统的具体需求、可用资源、性能要求、业务复杂性、维护成本等因素,最后确定出来的方案才是最适合的。
希望看到这里的你有所收获。

六、参考文章

  • 如何下保证MySQL数据库与Redis缓存数据一致性?

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/472202.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

java-Day06 内部类 Lambda表达式 API

内部类 内部类:就是在一个类中定义一个类 格式例: public class Outer { public class Inner { } } 内部类分类 1.成员内部类(了解) 创建成员内部类 外部类.内部类 对象名new外部类().new内部类() 2.静态内部类(了解) 3.局部内部类(了解) 4.匿名内部类…

【3D Slicer】的小白入门使用指南八

3D Slicer DMRI(Diffusion MRI)-扩散磁共振认识和使用 0、简介 大脑解剖 ● 白质约占大脑的 45% ● 有髓神经纤维(大约10微米轴突直径) 白质探索 朱尔斯约瑟夫德杰林(Jules Joseph Dejerine,《神经中心解剖学》(巴黎,1890-1901):基于髓磷脂染色标本的神经解剖图谱)…

Spring Boot框架:构建可扩展的网上商城

4 系统设计 网上商城系统的设计方案比如功能框架的设计,比如数据库的设计的好坏也就决定了该系统在开发层面是否高效,以及在系统维护层面是否容易维护和升级,因为在系统实现阶段是需要考虑用户的所有需求,要是在设计阶段没有经过全…

【Pikachu】任意文件上传实战

将过去和羁绊全部丢弃,不要吝惜那为了梦想流下的泪水。 1.不安全的文件上传漏洞概述 不安全的文件上传漏洞概述 文件上传功能在web应用系统很常见,比如很多网站注册的时候需要上传头像、上传附件等等。当用户点击上传按钮后,后台会对上传的…

vue3:computed

vue3:computed 扫码或者点击文字后台提问 computed 支持选项式写法 和 函数式写法 1.选项式写法 支持一个对象传入get函数以及set函数自定义操作 2.函数式写法 只能支持一个getter函数不允许修改值的 基础示例 <template><div><div>姓&#xff1a;<i…

Python调用API翻译Excel中的英语句子并回填数据

一、问题描述 最近遇到一个把Excel表中两列单元格中的文本读取&#xff0c;然后翻译&#xff0c;再重新回填到单元格中的案例。大约有700多行&#xff0c;1400多个句子&#xff0c;一个个手动复制粘贴要花费不少时间&#xff0c;而且极易出错。这时&#xff0c;我们就可以请出…

NFS-Ganesha 核心架构解读

NFSv4 简要概述 NFS 这个协议( NFSv2 )最初由 Sun Microsystems 在 1984 年设计提出&#xff0c;由于存在一些不足&#xff0c;因此在随后由几家公司联合推出了 NFSv3。到了 NFSv4 时&#xff0c;开发完全由 IETF 主导&#xff0c;设计目标是&#xff1a; 提高互联下的 NFS 访…

直流保护电路设计及保护器件参数说明和选型

在工控产品设计中时常会涉及到电源保护的电路设计的问题&#xff0c;在深圳瑞隆源电子给出的参考电路来切入主题&#xff0c;对气体放电管、压敏电阻和TVS这三类保护器件的参数及选型进行详细说明&#xff0c;以达到深刻理解的目的。 图1 直流保护电路 举例说明&#xff0c;若…

VBA学习笔记:点击单元格显示指定的列

应用场景&#xff1a; 表格中列数较多&#xff0c;特定条件下隐藏一些无关的列&#xff0c;只保留相关的列&#xff0c;使表格更加清晰。 示例&#xff1a;原表格如下 点击一年级&#xff0c;只显示一年级相关的科目&#xff1a; 点击二年级&#xff0c;只显示二年级相关的科…

一种时间戳对齐的方法(离线)

这段代码的主要功能是: 读取指定目录下的 pcd 文件和 jpg 文件。对于每个 pcd 文件,在 jpg 目录中找到时间戳最接近的 jpg 文件。将找到的 jpg 文件复制到对应的输出目录,实现时间戳对齐。 这种时间戳对齐的操作在多传感器数据融合中非常常见,它确保了不同传感器采集的数据在时…

『VUE』27. 透传属性与inheritAttrs(详细图文注释)

目录 什么是透传属性&#xff08;Forwarding Attributes&#xff09;使用条件唯一根节点禁用透传属性继承总结 欢迎关注 『VUE』 专栏&#xff0c;持续更新中 欢迎关注 『VUE』 专栏&#xff0c;持续更新中 什么是透传属性&#xff08;Forwarding Attributes&#xff09; 在 V…

【代码大模型】Is Your Code Generated by ChatGPT Really Correct?论文阅读

Is Your Code Generated by ChatGPT Really Correct? Rigorous Evaluation of Large Language Models for Code Generation key word: evaluation framework, LLM-synthesized code, benchmark 论文&#xff1a;https://arxiv.org/pdf/2305.01210.pdf 代码&#xff1a;https:…

AdaBoost 二分类问题

代码功能 生成数据集&#xff1a; 使用 make_classification 创建一个模拟分类问题的数据集。 数据集包含 10 个特征&#xff0c;其中 5 个是有用特征&#xff0c;2 个是冗余特征。 数据集划分&#xff1a; 将数据分为训练集&#xff08;70%&#xff09;和测试集&#xff08;3…

maven的optional选项说明以及具体应用

写在前面 本文看下maven的optional选项的作用和用法。 1&#xff1a;什么作用 考虑这样的场景&#xff0c;A依赖B&#xff0c;B依赖C&#xff0c;正常的按照依赖的传递性&#xff0c;A也会间接的依赖C&#xff0c;但是在一些特定的场景中项目A只希望依赖B&#xff0c;而不依…

QSS 设置bug

问题描述&#xff1a; 在QWidget上add 一个QLabel&#xff0c;但是死活不生效 原因&#xff1a; c 主程序如下&#xff1a; QWidget* LOGO new QWidget(logo_wnd);LOGO->setFixedSize(logo_width, 41);LOGO->setObjectName("TittltLogo");QVBoxLayout* tit…

论文阅读 - Causally Regularized Learning with Agnostic Data Selection

代码链接&#xff1a; GitHub - HMTTT/CRLR: CRLR尝试实现 https://arxiv.org/pdf/1708.06656v2 目录 摘要 INTRODUCTION 2 RELATED WORK 3 CAUSALLY REGULARIZED LOGISTIC REGRESSION 3.1 Problem Formulation 3.2 Confounder Balancing 3.3 Causally Regularized Lo…

JVM双亲委派与自定义类加载器

一. 类加载过程 Java Application运行前需要将编译生成的字节码文件加载到JVM中&#xff0c;JVM类加载过程如下&#xff1a; 1. 加载 加载阶段是类加载的第一步&#xff0c;在加载阶段JVM会查找并加载类的字节码文件&#xff0c;这个过程通常从类路径&#xff08;Classpath…

Android Osmdroid + 天地图 (二)

Osmdroid 天地图 &#xff08;二&#xff09; 前言正文一、定位监听二、改变地图中心三、添加Marker四、地图点击五、其他配置① 缩放控件② Marker更换图标③ 添加比例尺④ 添加指南针⑤ 添加经纬度网格线⑥ 启用旋转手势⑦ 添加小地图 六、源码 前言 上一篇中我们显示了地图…

R语言贝叶斯分析:INLA 、MCMC混合模型、生存分析肿瘤临床试验、间歇泉喷发时间数据应用|附数据代码...

全文链接&#xff1a;https://tecdat.cn/?p38273 多模态数据在统计学中并不罕见&#xff0c;常出现在观测数据来自两个或多个潜在群体或总体的情况。混合模型常用于分析这类数据&#xff0c;它利用不同的组件来对数据中的不同群体或总体进行建模。本质上&#xff0c;混合模型是…

AI开发-计算机视觉库-OpenCV

1 需求 官网&#xff1a;OpenCV - Open Computer Vision Library 2 接口 3 示例 import cv2image cv2.imread("./data/train/1_1.jpg") print(type(image)) 4 参考资料