【redis-05】redis保证和mysql数据一致性

redis系列整体栏目


内容链接地址
【一】redis基本数据类型和使用场景https://zhenghuisheng.blog.csdn.net/article/details/142406325
【二】redis的持久化机制和原理https://zhenghuisheng.blog.csdn.net/article/details/142441756
【三】redis缓存穿透、缓存击穿、缓存雪崩https://zhenghuisheng.blog.csdn.net/article/details/142577507
【四】redisson实现分布式锁实战和源码剖析https://zhenghuisheng.blog.csdn.net/article/details/142646301
【五】redis保证和mysql数据一致性https://zhenghuisheng.blog.csdn.net/article/details/142687101

如需转载,请输入:https://blog.csdn.net/zhenghuishengq/article/details/142687101

redis保证和mysql数据一致性

  • 一,redis保证和mysql数据一致性
    • 1,数据不一致原因
      • 1.1,更新缓存出现的问题
      • 1.2,删除缓存出现的问题
      • 1.3,理想情况
    • 2,数据不一致解决方案
      • 2.1,延迟双删(不推荐)
      • 2.2,消息队列
      • 2.3,分布式锁
      • 2.4,canal同步

一,redis保证和mysql数据一致性

在项目中,redis一般作为缓存使用,从而加快系统的读写效率和吞吐量,但是数据最终一般是存储在mysql中,因此在实际开发中,尤其是在高并发的互联网项目中,经常会遇到这种mysql和redis数据不一致的情况。如在一个电商的扣减库存的场景中,如果redis中的数据和mysql中的数据没有保证一致,那么就很有可能造成超卖的问题,那么平台就可能会因为这个问题造成商家的损失

1,数据不一致原因

数据不一致原因无非就是那几种原因,在分布式场景中,并发带来的问题,网络抖动带来的问题,分布式事务不一致问题等。

1.1,更新缓存出现的问题

如下面这个场景,以扣减库存的场景为例,假设有100个库存,此时多个线程对该商品下单。如在一个4s的时间线内,线程1和线程2先后下单,在不考虑mysql事务的情况下,来查看以下会出现的问题,其流程如下:

  • 首先在第一秒时线程1进行一个扣减库存操作,但是由于网络卡顿的原因,导致在第4秒才更新redis的缓存只为95,并且写入mysql的数据也为95;
  • 在第二秒时线程2也下单10件商品,此时redis缓存还是100,因此操作的还是这个100,那么扣减库存之后的值变成90,然后在第三秒时更新缓存值为90;
  • 由于暂时不考虑事务,因此此时mysql的值为100-10-5为85,而redis中的缓存值由于覆盖的问题导致还是95,此时就出现了mysql和redis值不一致的问题。

在这里插入图片描述

1.2,删除缓存出现的问题

更新缓存指的是在写完mysql数据之后立马就去更新缓存,效率可能会低一些,除了更新缓存还可以删除缓存,就是在写的时候不更新缓存,而是直接删掉缓存,再读数据的时候进行redis缓存数据的写入,如以下流程

  • 首先线程1在第一秒时扣减5个库存,然后将缓存删除,此时redis中的值为95
  • 第二秒一个线程3来读数据,发现缓存没有就读数据库,此时数据库的值为95
  • 在第三秒有一个用户下单,扣减库存操作为10,此时mysql中为85,删除缓存
  • 由于卡顿问题,在第四秒线程3才执行更新缓存操作,但是拿的值不是最新值,导致原本redis值为85的,由于覆盖的问题此时redis的值为95,导致redis和mysql数据不一致的问题

在这里插入图片描述

1.3,理想情况

在理想情况下,我们更希望的是每个命令都可以顺序执行,将各种无法预料的并发问题直接改成串行化操作。当然如果在此基础上进行优化的话,在加锁的同时,考虑加一把互斥锁,从而保证读读共享,其他互斥的操作

在这里插入图片描述

2,数据不一致解决方案

2.1,延迟双删(不推荐)

延迟双删顾名思义,就是延迟一段时间,删除某些线程因为卡顿原因导致更新缓存的值出错,如下图线程3由于卡顿,造成缓存覆盖的问题,从而导致了redis中缓存和mysql中的值出现不一致的问题,但是通过延迟双删的方式,对缓存做两次删除,并且两次删除间设置一定的时间间隔,从而解决部分卡顿问题

在这里插入图片描述

其伪代码如下,首先是第一次删除缓存,然后休眠个300秒,然后再次删除缓存。

#第一次删除缓存
redis.delKey(phone:1001)
#休眠300毫秒
Thread.sleep(300)
#再删除缓存
redis.delKey(phone:1001)

延迟双删的方式也不能完全解决这种数据不一致问题,只能减少这种数据不一致概率的事件发生,因为不能保证某些查询的线程要卡顿多久,比如我设置300毫秒,但是有的线程卡顿一秒,因此也不能够完全解决。

其次所有的写操作都得删除两次,这对redis来说会有一定的性能影响,除了本身的操作之外,还得额外的增加一段延时的时间,对于使用redis的初衷来说就没那么友好,更加的适用于 读多写少 的场景,如商品首页等。

2.2,消息队列

如果为了强一致性,那么可以直接使用消息队列来使用,其本质也很简单,将并行的操作,全部加入到消息队列中串行执行。

消息队列确实可以解决这种数据不一致问题,因为都串行执行,不会有那种并行和并发的问题。但是使用消息队列需要额外的引入中间件,还需要考虑数据的持久化,不丢失,以及顺序消费等问题,如果整个系统是已经有再使用消息中间件的话,如kafka、rocketMq这些,那么是可以考虑使用这种方式的

在这里插入图片描述

2.3,分布式锁

在上一篇中,讲解了redis分布式锁的使用和底层原理,分布式锁的机制和上面的消息队列的机制一样,都是将并行执行的操作方式改成串行的执行方式,直接通过redisson实现的分布式锁即可

RLock lock = redisson.getLock(PHONE_ID);
lock.lock();
lock.unlock();

通过这种分布所锁机制,可以保证数据的串行执行,不出现redis数据脏写问题和覆盖问题

在这里插入图片描述

当然也可以通过redis的 读写锁 进行优化,部分代码如下,直接在读的接口中使用读锁,使用后需要释放锁

//获取一把读写锁
RReadWriteLock readWriteLock = redissoon.getReadWriteLock(lockKey);
//获取读锁
RLock readLock = readWriteLock.readLock();
//加锁
readLock.lock();
//解锁
readLock.unlock();

写的接口中使用写锁即可,使用后也许把锁释放。

//获取一把读写锁
RReadWriteLock readWriteLock = redissoon.getReadWriteLock(lockKey);
//获取写锁
RLock writeLock = readWriteLock.writeLock();
//加锁
writeLock.lock();
//解锁
writeLock.unlock();

不管是原生的Redission锁还是这种读写锁,底层都是通过lua脚本实现,这种方式也更加的适用于 读多写少 的场景。相对于消息队列,可以选这种方式实现

2.4,canal同步

上面几种方式都是需要通过手动的删除缓存或者更新缓存的数据实现数据同步,除了上面几种方式之外,还可以用阿里的canal开源中间件来实现数据的同步,并且通过这种方式,不需要认为的去操作缓存

其原理也很简单,就类似于mysql的主从复制原理,伪装成一个从结点,监听mysql的binlog日志,然后将执行的mysql的操作,通过这个canal中间件同步到redis中。

在这里插入图片描述

这样的话,也不需要去考虑redis的更新和删除操作,只需要查即可,查不到再查mysql。

当然如果想直接使用这种canal中间件的话,需要手动的重新部署,也相当于重新引入了一个新的中间件。如果数据量大的话,可以考虑使用这种方式来解决数据不一致问题。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/440817.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

57.对称二叉树

迭代 class Solution {public boolean isSymmetric(TreeNode root) {if(rootnull){return true;}Deque<TreeNode> denew LinkedList<>();TreeNode l,r;int le;de.offer(root.left);de.offer(root.right);while(!de.isEmpty()){lde.pollFirst();rde.pollLast();if(…

BMC pam认证的使用

1.说明 1.1 文档参考资料 https://www.chiark.greenend.org.uk/doc/libpam-doc/html/Linux-PAM_ADG.htmlhttp://www.fifi.org/doc/libpam-doc/html/pam_appl-3.htmlpdf文档: https://fossies.org/linux/Linux-PAM-docs/doc/adg/Linux-PAM_ADG.pdflinux-pam 中文文档pam 旧文p…

<数据集>工程机械识别数据集<目标检测>

数据集格式&#xff1a;VOCYOLO格式 图片数量&#xff1a;2644张 标注数量(xml文件个数)&#xff1a;2644 标注数量(txt文件个数)&#xff1a;2644 标注类别数&#xff1a;3 标注类别名称&#xff1a;[dump truck, wheel loader, excavators] 序号类别名称图片数框数1dum…

SpringBootWeb快速入门!详解如何创建一个简单的SpringBoot项目?

在现代Web开发中&#xff0c;SpringBoot以其简化的配置和快速的开发效率而受到广大开发者的青睐。本篇文章将带领你从零开始&#xff0c;搭建一个基于SpringBoot的简单Web应用~ 一、前提准备 想要创建一个SpringBoot项目&#xff0c;需要做如下准备&#xff1a; idea集成开发…

wordpress Contact form 7发件人邮箱设置

此教程仅适用于演示站有留言的主题&#xff0c;演示站没有留言的主题&#xff0c;就别往下看了&#xff0c;免费浪费时间。 使用了Contact form 7插件的简站WordPress主题&#xff0c;在有人留言时&#xff0c;就会发邮件到网站的系统邮箱(一般与管理员邮箱为同一个)里。上面显…

SpringCloud简介 Ribbon Eureka 远程调用RestTemplate类 openfeign

〇、SpringCloud 0.区别于单体项目和soa架构&#xff0c;微服务架构每个服务独立&#xff0c;灵活。 1. spring cloud是一个完整的微服务框架&#xff0c;springCloud包括三个体系&#xff1a; spring cloud Netflix spring cloud Alibaba spring 其他 2.spring cloud 版本命名…

论文阅读笔记-LogME: Practical Assessment of Pre-trained Models for Transfer Learning

前言 在NLP领域,预训练模型(准确的说应该是预训练语言模型)似乎已经成为各大任务必备的模块了,经常有看到文章称后BERT时代或后XXX时代,分析对比了许多主流模型的优缺点,这些相对而言有些停留在理论层面,可是有时候对于手上正在解决的任务,要用到预训练语言模型时,面…

软件设计师(软考学习)

数据库技术 数据库基础知识 1. 数据库中的简单属性、多值属性、复合属性、派生属性简单属性&#xff1a;指不能够再分解成更小部分的属性&#xff0c;通常是数据表中的一个列。例如学生表中的“学号”、“姓名”等均为简单属性。 多值属性&#xff1a;指一个属性可以有多个值…

sql-labs:42~65

less42&#xff08;单引号闭合、报错回显&#xff09; login_useradmin login_password123 and if(11,sleep(2),1) # # 单引号闭合 ​ login_useradmin login_password123and updatexml(1,concat(0x7e,database(),0x7e),1)# # 报错回显…

mysql UDF提权(实战案例)

作者&#xff1a;程序那点事儿 日期&#xff1a;2024/09/29 16:10 什么是UDF? 全称 User Define Function &#xff08;用户自定义函数&#xff09;UDF提权&#xff0c;就是通过自定义函数&#xff0c;实现执行系统的命令。 dll&#xff08;windows&#xff0c;dll文件是c语…

5.人员管理模块(以及解决运行Bug)——帝可得管理系统

目录 前言一、页面修改表单展示修改 二、新增对话框修改三、修改对话框修改修改时展示创建时间 四、解决页面展示错误五 、 解决【java.lang.NullPointerException: null】 Bug 前言 提示&#xff1a;本篇完成人员管理模块的开发&#xff0c;具体需求、修改代码的路径和最终效…

车辆种类分类识别数据集,可以识别7种汽车类型,已经按照7:2:1比 例划分数据集,训练集1488张、验证集507张,测试集31张, 共计2026张。

车 车辆种类分类识别数据集&#xff0c;可以识别7种汽车类型&#xff0c;已经按照7:2:1比 例划分数据集&#xff0c;训练集1488张、验证集507张,测试集31张&#xff0c; 共计2026张。 数据集分为一类客车(tinycar) &#xff0c;类客车(midcar) &#xff0c;三类 客车(bigcar) ,…

重学SpringBoot3-集成Redis(六)之消息队列

更多SpringBoot3内容请关注我的专栏&#xff1a;《SpringBoot3》 期待您的点赞&#x1f44d;收藏⭐评论✍ 重学SpringBoot3-集成Redis&#xff08;六&#xff09;之消息队列 1. 什么是发布/订阅&#xff08;Pub/Sub&#xff09;&#xff1f;2. 场景应用3. Spring Boot 3 整合 R…

感知机学习算法

感知机 一、感知机简介二、感知机模型2.1 感知机的基本组成2.2 求和函数2.2.1 时间总合2.2.2 空间总合 2.3 激活函数2.4 学习算法2.4.1 赫布学习规则2.4.2 Delta学习规则 三、 结论参考文献 一、感知机简介 M-P神经元模型因其对生物神经元激发过程的极大简化而成为神经网络研究…

微信小程序学习实录10:轻松获取用户昵称、头像与登录openid实战攻略

在微信小程序开发中&#xff0c;获取用户的个人信息&#xff08;如昵称和头像&#xff09;以及用户的唯一标识OpenID是非常常见的需求。本文将详细介绍如何通过微信提供的API来实现这些功能&#xff0c;并提供一个完整的实战案例。 用户选择头像 微信提供了chooseAvatar组件&…

ROS基础入门——实操教程

ROS基础入门——实操教程 前言 本教程实操为主&#xff0c;少说书。可供参考的文档中详细的记录了ROS的实操和理论&#xff0c;只是过于详细繁杂了&#xff0c;看得脑壳疼&#xff0c;于是做了这个笔记。 Ruby Rose&#xff0c;放在这里相当合理 本文初编辑于2024年10月4日 C…

使用vscode调试wails项目(golang桌面GUI)

文章目录 安装 Golang 环境安装 NPM安装 VSCode安装 Go 插件安装 Go 插件依赖工具安装 Wails系统检查 准备项目Visual Studio Code 配置安装和构建步骤参考资料 安装 Golang 环境 访问 golang 官网下载环境安装包&#xff1a;https://go.dev/dl/ 安装 NPM 从 Node 下载页面 …

时序必读论文16|ICLR24 CARD:通道对齐鲁棒混合时序预测Transformer

论文标题&#xff1a;CARD: Channel Aligned Robust Blend Transformer for Time Series Forecasting 论文链接&#xff1a;https://arxiv.org/abs/2305.12095 代码链接&#xff1a;https://github.com/wxie9/CARD 前言 Transformer取得成功的一个关键因素是通道独立&#…

鸿蒙开发之ArkUI 界面篇 十九 Flex组件的特点

其语法格式是: Flex(参数对象){ 字组件1, 字组件2, 字组件3, 字组件4 } 这里你会发现&#xff0c;其实和Row容器&#xff0c;Colum容器的语法格式差不多&#xff0c;核心的关键是Colum、Row是不支持换行&#xff0c;实现FlexInterface接口&#xff0c;对外提供的属性是F…

数据库(MySQL):使用命令从零开始在Navicat创建一个数据库及其数据表(二).设置主键自增等特点

前言 在上一节中&#xff0c;主要介绍了 Navicat Premium 17 的使用以及创建一个基础的表格。当时只设置了给数据表补充字段&#xff0c;没有设置给数据表删除字段。现在补充一下。 ALTER TABLE student ADD test int(4); 给名为 student 的数据表添加 test 列&#xf…