Redis进阶篇 - 缓存穿透、缓存击穿、缓存雪崩问题及其解决方案

文章目录

  • 1 文章概述
  • 2 缓存穿透
    • 2.1 什么是缓存穿透?
    • 2.2 缓存穿透的解决方法
      • 2.2.1 做好参数校验
      • 2.2.2 缓存无效Key
      • 2.2.3 使用布隆过滤器
      • 2.2.4 接口限流
  • 3 缓存击穿
    • 3.1 什么是缓存击穿?
    • 3.2 缓存击穿的解决方法
      • 3.2.1 调整热点数据过期时间
      • 3.2.2 热点数据预热
      • 3.2.3 控制数据库并发
  • 4 缓存雪崩
    • 4.1 什么是缓存雪崩?
    • 4.2 缓存雪崩的解决方法
      • 4.2.1 针对缓存服务不可用的情况
      • 4.2.2 针对缓存大面积过期的情况

1 文章概述

在使用 Redis 作为缓存时,缓存穿透、缓存击穿和缓存雪崩是常见的问题,可能会影响系统性能和稳定性。本文将深入探讨这些问题的概念、产生原因、以及可能带来的影响,并针对这些问题提供的解决方案,以帮助读者更好地理解并解决这些挑战。

2 缓存穿透

2.1 什么是缓存穿透?

缓存穿透问题: 大量且频繁地请求缓存和数据库中都不存在的数据,由于缓存无法命中,这些请求都穿透缓存直接访问数据库,导致数据库压力暴增,影响系统性能。

缓存穿透

缓存穿透可能发生的原因包括查询参数异常、恶意攻击、业务逻辑错误等。如果恶意用户或者攻击者发送大量不存在于缓存中的请求,系统会不断地去查询数据库,导致数据库负载增加,甚至可能引起数据库宕机。缓存穿透不仅影响系统性能,还可能暴露后端数据给未经授权的用户,造成安全隐患。

2.2 缓存穿透的解决方法

要解决缓存穿透问题,本质就是要避免出现请求直接访问数据库的情况。

2.2.1 做好参数校验

解决缓存穿透,最基本的就是首先做好参数校验,从系统入口处就拒绝掉非法的请求,一些不合法的参数请求直接抛出异常信息返回给客户端。比如查询的数据库 id 不能小于 0、传入的邮箱格式不对的时候直接返回错误消息给客户端等等。

做好参数校验

2.2.2 缓存无效Key

做好参数校验只能拒绝掉不符合基本参数校验规则的请求,对于那些符合参数校验规则的无效请求则无能为力。

缓存无效Key方法指的是,在缓存和数据库都查询不到数据的时候,向缓存中插入一个空的数据,并设置过期时间。这样,当下一次接收到相同请求时,就可以直接从缓存中获取到空数据,而不需要查询数据库。
缓存无效Key
这种方式可以解决请求的 key 变化不频繁的情况,如果黑客每次构建不同的请求 key,不仅不能解决缓存穿透问题,还会导致 Redis 中缓存大量无效的 key 。很明显,这种方案并不能从根本上解决此问题。如果非要用这种方式来解决穿透问题的话,尽量将无效的 key 的过期时间设置短一点。

2.2.3 使用布隆过滤器

布隆过滤器是一个非常神奇的数据结构,通过它我们可以非常方便地判断一个给定数据是否存在于海量数据中。我们可以把它看作由二进制向量(或者说位数组)和一系列随机映射函数(哈希函数)两部分组成的数据结构。相比于我们平时常用的 List、Map、Set 等数据结构,它占用空间更少并且效率更高,但是缺点是其返回的结果是概率性的,而不是非常准确的。理论情况下添加到集合中的元素越多,误报的可能性就越大。并且,存放在布隆过滤器的数据不容易删除。

关于布隆过滤器的更多内容,可以参考文章:布隆过滤器有什么用?什么原理?如何使用?

使用布隆过滤器解决缓存穿透问题的方法是:将所有可能存在的请求的值都存放在布隆过滤器中,当用户请求过来,先判断用户发来的请求的值是否存在于布隆过滤器中。不存在的话,直接返回请求参数错误信息给客户端,存在的话才会走后续流程。
在这里插入图片描述

2.2.4 接口限流

根据用户或者 IP 对接口进行限流,对于异常频繁的访问行为,还可以采取黑名单机制,例如将异常 IP 列入黑名单。

3 缓存击穿

3.1 什么是缓存击穿?

缓存击穿问题: 缓存击穿是指缓存中的某个热点数据突然失效或过期,此时有大量并发请求同时访问该数据,导致这些请求无法从缓存中获取数据,而直接访问数据库,造成数据库压力剧增,甚至可能导致数据库宕机。缓存击穿通常发生在具有高并发读取请求的热点数据上。
缓存击穿问题

3.2 缓存击穿的解决方法

3.2.1 调整热点数据过期时间

设置热点数据永不过期或设置较长过期时间,避免热点数据突然过期的情况,从根源上解决缓存击穿问题!

应该没人会去随便删除热点数据缓存吧?!

3.2.2 热点数据预热

针对热点数据提前预热,将其存入缓存中并设置合理的过期时间。这也能从根源上解决缓存击穿问题!

比如在秒杀场景中:可以在秒杀活动开始之前,将热点数据加载到缓存中,并设置其过期时间在秒杀结束之后。

3.2.3 控制数据库并发

在缓存失效时使用互斥锁(Mutex)或者分布式锁来保护数据库查询过程,只允许一个线程进行数据库查询,其他线程等待查询结果。

4 缓存雪崩

4.1 什么是缓存雪崩?

缓存雪崩问题: 缓存雪崩是指在缓存中存储的大量数据同时失效或者过期,导致大量请求直接访问数据库获取数据,从而造成数据库负载剧增,甚至引发系统崩溃的现象。

注意:缓存服务器宕机导致的缓存失效也算哦

缓存雪崩

4.2 缓存雪崩的解决方法

4.2.1 针对缓存服务不可用的情况

  • 采用 Redis 集群,避免单机出现问题整个缓存服务都没办法使用。
  • 限流,避免同时处理大量的请求。
  • 采用多级缓存,例如本地缓存+Redis 缓存的组合,当 Redis 缓存出现问题时,还可以从本地缓存中获取到部分数据。

4.2.2 针对缓存大面积过期的情况

  • 设置缓存数据的过期时间随机性,避免大量数据同时失效。
  • 缓存永不失效(不太推荐,实用性太差)。
  • 缓存预热,也就是在程序启动后或运行过程中,主动将热点数据加载到缓存中。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/436247.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Postgresql怎么查询数据库中所有的表,odoo17数据库最依赖表整理

今天遇到了一个需求,需要梳理odoo中数据库表的分类,所以想要知道怎么查询当前数据库中所有的表,特此记录. 一个简单的SQL语句: select * from pg_tables;得到的结果如下: 显然这个有点杂乱,我们换一个SQL语句: select tablename from pg_tables where schemanamepublic不过…

软件测试学习笔记丨Mock的价值与实战

本文转自测试人社区,原文链接:https://ceshiren.com/t/topic/32331 一、Mock的价值与意义 1.1 简介 测试过程中,对于一些不容易构造或获取的对象,用一个虚拟的对象来替代它,达到相同的效果,这个虚拟的对象…

启动服务并登录MySQL9数据库

【图书推荐】《MySQL 9从入门到性能优化(视频教学版)》-CSDN博客 《MySQL 9从入门到性能优化(视频教学版)(数据库技术丛书)》(王英英)【摘要 书评 试读】- 京东图书 (jd.com) Windows平台下安装与配置MyS…

Activiti 工作流大致了解

一、什么是 Activiti 简而言之&#xff0c;就是系统的流程图&#xff0c;如&#xff1a;请假审批流程、账单审批流程等。 二、mysql与pom配置 mysql要使用jdbc:mysql://localhost:3306/activiti?autoReconnecttrue pom文件要添加关键依赖 <!--activiti核心依赖--> &…

makefile和CMakeLists/C++包管理器

make 大家可能会很奇怪&#xff0c;都什么年代了&#xff0c;还学makefile&#xff0c;cmake都有些过时了&#xff0c;为什么还要再学这个呢&#xff1f; 我是这么看待这个问题的&#xff0c;cmake跨平台性还是很有有优势的&#xff0c;有着多年积累的底蕴&#xff0c;借助大模…

IDE 使用技巧与插件推荐全面指南

目录 目录 常用IDE概述 Visual Studio Visual Studio Code IntelliJ IDEA PyCharm Eclipse IDE 使用技巧 通用技巧 Visual Studio 专属技巧 Visual Studio Code 专属技巧 IntelliJ IDEA 专属技巧 插件推荐 Visual Studio 插件 Visual Studio Code 插件 IntelliJ…

STM32 实现 UDP 广播通信

目录 一、引言 二、准备工作 1.硬件准备 2.软件准备 三、LWIP 协议栈的配置与初始化 1.添加 LWIP 源文件 2.配置 LWIP 3.初始化 LWIP 四.创建 UDP 广播套接字 1.创建 UDP 控制块 2.绑定本地端口 五、设置 UDP 广播选项 1.设置广播地址 2.设置广播选项 六、发…

防反接电路设计

方案1 串联二极管&#xff0c; 优点&#xff1a;成本低、设计简单 缺点&#xff1a;损耗大&#xff0c;P ui 方案2 串联自恢复保险丝 当电源反接的时候&#xff0c;D4导通&#xff0c;F2超过跳闸带你留&#xff0c;就会断开&#xff0c;从而保护了后级电路 方案3 H桥电路…

[数据集][目标检测]电力场景防震锤缺陷检测数据集VOC+YOLO格式705张1类别

重要说明&#xff1a;防震锤缺陷图片太难找&#xff0c;数据集里面存在大量单一场景图片&#xff0c;请仔细查看图片预览谨慎下载&#xff0c;此外数据集均为小目标检测&#xff0c;如果训练map偏低属于正常现象 数据集格式&#xff1a;Pascal VOC格式YOLO格式(不包含分割路径…

COMP 6714-Info Retrieval and Web Search笔记week2

tokenizer&#xff1a;分词器 右半部分&#xff1a;倒排索引 Westlaw AND&#xff08;&&#xff09;&#xff1a; 要搜索必须同时出现在文档中的两个或多个词语&#xff0c;请使用 AND&#xff08;&&#xff09;。例如&#xff0c;输入 narcotics & warrant&#x…

net core mvc 数据绑定 《2》 bind fromquery,FromRoute,fromform等,自定义模型绑定器

mvc core 模型绑定 控制绑定名称 》》》Bind 属性可以用来指定 模型应该 绑定的前缀 public class MyController : Controller {[HttpPost]public ActionResult Create([Bind(Prefix "MyModel")] Ilist<MyModel> model){// 模型绑定将尝试从请求的表单数据中…

(二)大模型调用

一、基本概念 1.1、Prompt 大模型的所有输入&#xff0c;即&#xff0c;我们每一次访问大模型的输入为一个 Prompt&#xff0c; 而大模型给我们的返回结果则被称为 Completion。 1.2、Temperature LLM 生成是具有随机性的&#xff0c;在模型的顶层通过选取不同预测概率的预测结…

白内障分类数据集 3.4G

用于白内障检测的白内障和正常眼睛图像分类数据集。 名称 白内障分类数据集 规模 数据量&#xff1a;3.4GB图像数量&#xff1a;未明确提供&#xff0c;但通常这类数据集包含数千张图像。 类别 正常眼&#xff1a;无白内障的眼睛早期白内障&#xff1a;轻度白内障的眼睛中…

DC00024基于ssm实验室预约管理系统java web项目web教师预约jsp预约管理系统

1、项目功能演示 DC00024基于web实验室预约管理系统ssm教室预约实验室预约管理系统java web项目MySQL 2、项目功能描述 基于ssm实验室预约管理系统分为用户和系统管理员两个角色。 2.1 系统管理员 1、系统登录 2、用户管理&#xff1a;修改个人信息、修改个人密码、教师管理…

MySql Explain优化命令使用

MySql Explain优化命令使用 truncate table student // 自增id 从 0 开始 delete from student // 自增id 会保留 &#xff0c; 108 区别&#xff1a; 1&#xff1a;自增id 2&#xff1a;delete 可以恢复 truncate 无法恢复 前言 EXPLAIN 是一个用于获取 SQL 语句执行计划的…

nacos client 本地缓存问题

问题&#xff1a; nacos 更新了配置文件&#xff0c;更新了以后重新启动还是旧的配置信息。 NACOS版本&#xff1a; 1.1.4 解决&#xff1a; 配置缓存 Nacos Client 会将从 Nacos 服务器获取的配置信息缓存在本地。这样&#xff0c;即使 Nacos 服务器不可用&#xff0c;客…

Spring IoC笔记

目录 1.什么是 IoC&#xff1f; 2.IoC类注解&#xff08;五大注解&#xff09; 2.1那为什么要这么多类注解&#xff1f; 2.2五大注解是不是可以混用&#xff1f; 2.3程序被spring管理的条件是&#xff1f; 3.bean对象 3.1Bean 命名约定 3.2获取bean对象 4.⽅法注解 B…

汽车总线之----J1939总线

instruction SAE J1939 是由美国汽车工程协会制定的一种总线通信协议标准&#xff0c;广泛应用于商用车&#xff0c;船舶&#xff0c;农林机械领域中&#xff0c;J1939协议是基于CAN的高层协议&#xff0c;我们来看一下两者之间的关系。在J1939 中&#xff0c;物理层和数据链路…

如何在iPad上用Chrome实现无痕浏览

在数字化时代&#xff0c;隐私保护已成为我们日常生活中不可忽视的一部分。特别是在使用移动设备浏览网页时&#xff0c;如何确保个人信息的安全显得尤为重要。本文将详细介绍如何在iPad上使用Chrome浏览器实现无痕浏览&#xff0c;以保护您的在线隐私。 &#xff08;本文由ht…

electron教程(三)窗口设置

在main.js文件中&#xff0c;创建窗口时会设置窗口的大小&#xff0c;其实还有很多其他属性&#xff0c;可以根据实际需求选择设置&#xff0c;但部分属性存在局限性&#xff0c;官网也有明确告知&#xff1a;自定义窗口 | Electron (electronjs.org) 项目文件目录如下&#x…