【Redis】Redis 典型应用 - 缓存 (Cache) 原理与策略

目录

    • Redis 典型应⽤ - 缓存 (cache)
      • 什么是缓存
      • 使⽤ Redis 作为缓存
      • 缓存的更新策略
        • 1)定期⽣成
        • 2)实时生成
      • 缓存预热,缓存穿透,缓存雪崩 和 缓存击穿
        • 关于缓存预热 (Cache preheating)
          • 什么是缓存预热
        • 关于缓存穿透 (Cache penetration)
        • 什么是缓存穿透
          • 为何产⽣
          • 如何解决
        • 关于缓存雪崩 (Cache avalanche)
          • 什么是缓存雪崩
          • 为何产⽣
          • 如何解决
        • 关于缓存击穿 (Cache breakdown)
          • 什么是缓存击穿
          • 如何解决


Redis 典型应⽤ - 缓存 (cache)

什么是缓存

缓存 (cache) 是计算机中的⼀个经典的概念,在很多场景中都会涉及到。

核⼼思路就是把⼀些常⽤的数据放到触⼿可及(访问速度更快)的地⽅, ⽅便随时读取。

举个例⼦:

⽐如我需要去⾼铁站坐⾼铁. 我们知道坐⾼铁是需要反复刷⾝份证的 (进⼊⾼铁站, 检票, 上⻋,乘⻋过程中, 出站…)

正常来说, 我的⾝份证是放在⽪箱⾥的(⽪箱的存储空间⼤, ⾜够能装). 但是每次刷⾝份证都需要开⼀次⽪箱找⾝份证, 就⾮常不⽅便。

因此我就可以把⾝份证先放到⾐服⼝袋⾥。⼝袋虽然空间⼩, 但是访问速度⽐⽪箱快很多。

这样的话每次刷⾝份证我只需要从⼝袋⾥掏⾝份证就⾏了, 就不必开⽪箱了。

此时 “口袋” 就是 “皮箱” 的缓存. 使用缓存能够⼤ 提⾼访问效率

这⾥所说的 “触⼿可及” 是个相对的概念

我们知道, 对于硬件的访问速度来说, 通常情况下:

CPU 寄存器 > 内存 > 硬盘 > ⽹络。可以用速度快的设备作为速度慢的设备的缓存。

那么硬盘相对于⽹络是 “触⼿可及的”, 就可以使⽤硬盘作为⽹络的缓存。

内存相对于硬盘是 “触⼿可及的”, 就可以使⽤内存作为硬盘的缓存。

CPU 寄存器相对于内存是 “触⼿可及的”, 就可以使⽤ CPU 寄存器作为内存的缓存。

对于计算机硬件来说,往往访问速度越快的设备,成本越⾼,存储空间越⼩。

缓存是更快, 但是空间上往往是不⾜的. 因此⼤部分的时候, 缓存只放⼀些 热点数据 (访问频繁的数据),就⾮常有⽤了。

关于 “⼆⼋定律”

20% 的热点数据, 能够应对 80% 的访问场景。

因此只需要把这少量的热点数据缓存起来,就可以应对⼤多数场景,从⽽在整体上有明显的性能提升

使⽤ Redis 作为缓存

在⼀个⽹站中,我们经常会使⽤关系型数据库 (⽐如 MySQL) 来存储数据。

关系型数据库虽然功能强⼤,但是有⼀个很⼤的缺陷,就是性能不⾼。(换⽽⾔之, 进⾏⼀次查询操作消耗的系统资源较多)。

为什么说关系型数据库性能不⾼?

  1. 数据库把数据存储在硬盘上, 硬盘的 IO 速度并不快。尤其是随机访问。
  2. 如果查询不能命中索引, 就需要进⾏表的遍历, 这就会⼤ 增加硬盘 IO 次数。
  3. 关系型数据库对于 SQL 的执⾏会做⼀系列的解析, 校验, 优化⼯作。
  4. 如果是⼀些复杂查询, ⽐如联合查询, 需要进⾏笛卡尔积操作, 效率更是降低很多。

因此,如果访问数据库的并发量⽐较⾼,对于数据库的压⼒是很⼤的,很容易就会使数据库服务器宕机。

为什么并发量⾼了就会宕机?

服务器每次处理⼀个请求, 都是需要消耗⼀定的硬件资源的. 所谓的硬件资源包括不限于 CPU,内存, 硬盘, ⽹络带宽…

⼀个服务器的硬件资源本⾝是有限的。⼀个请求消耗⼀份资源, 请求多了, ⾃然把资源就耗尽了。 后续的请求没有资源可⽤, ⾃然就⽆法正确处理. 更严重的还会导致服务器程序的代码出现崩溃。

如何让数据库能够承担更⼤的并发量呢? 核⼼思路主要是两个:

  • 开源:引⼊更多的机器, 部署更多的数据库实例, 构成数据库集群。(主从复制, 分库分表等…)
  • 节流:引⼊缓存,使⽤其他的⽅式保存经常访问的热点数据,从⽽降低直接访问数据库的请求数量

实际开发中, 这两种⽅案往往是会搭配使⽤的

Redis 就是⼀个⽤来作为数据库缓存的常⻅⽅案

Redis 访问速度⽐ MySQL 快很多。或者说处理同⼀个访问请求, Redis 消耗的系统资源⽐ MySQL 少很多。因此 Redis 能⽀持的并发量更⼤

  • Redis 数据在内存中, 访问内存⽐硬盘快很多
  • Redis 只是⽀持简单的 key-value 存储, 不涉及复杂查询的那么多限制规则

就像⼀个 “护盾” ⼀样,把 MySQL 给罩住了

  • 客⼾端访问业务服务器, 发起查询请求
  • 业务服务器先查询 Redis, 看想要的数据是否在 Redis 中存在
    • 如果已经在 Redis 中存在了, 就直接返回。此时不必访问 MySQL 了
    • 如果在 Redis 中不存在, 再查询 MySQL

按照上述讨论的 “⼆⼋定律” , 只需要在 Redis 中放 20% 的热点数据, 就可以使 80% 的请求不再真正查询数据库了。

当然, 实践中究竟是 “⼆⼋”, 还是 “⼀九”, 还是 “三七”, 这个情况可能会根据业务场景的不同, 存在差异。但是⾄少绝⼤多数情况下, 使⽤缓存都能够⼤ 提升整体的访问效率, 降低数据库的压⼒。

注意!

缓存是⽤来加快 “读操作” 的速度的。如果是 “写操作”, 还是要⽼老实实写数据库, 缓存并不能提⾼性能。

缓存的更新策略

接下来还有⼀个重要的问题, 到底哪些数据才是 “热点数据” 呢?

1)定期⽣成

每隔⼀定的周期(⽐如⼀天/⼀周/⼀个⽉), 对于访问的数据频次进⾏统计。挑选出访问频次最⾼的前 N%的数据。

以搜索引擎为例

⽤⼾在搜索引擎中会输⼊⼀个 “查询词”, 有些词是属于⾼频的, ⼤家都爱搜(鲜花, 蛋糕, 同城交友, 不孕不育…). 有些词就属于低频的, ⼤家很少搜。

搜索引擎的服务器会把哪个⽤⼾什么时间搜了啥词, 都通过⽇志的⽅式记录的明明⽩白。然后每隔⼀段时间对这期间的搜索结果进⾏统计 (⽇志的数量可能⾮常巨⼤,这个统计的过程可能需要使⽤ hadoop 或者 spark 等⽅式完成)。从⽽就可以得到 “⾼频词表” 。

步骤:

  1. 完成统计热词的过程
  2. 根据热词,找到搜索结果的数据(广告数据)
  3. 把得到缓存数据同步到缓存服务器上
  4. 控制这些缓存服务器自动重启

优点是实现容易,过程可控。但这种做法实时性较低,对于⼀些突然情况应对的并不好。

⽐如春节期间, “春晚” 这样的词就会成为⾮常⾼频的词。⽽平时则很少会有⼈搜索 “春晚”

2)实时生成

先给缓存设定容量上限(可以通过 Redis 配置⽂件的 maxmemory 参数设定)

接下来把⽤⼾每次查询:

  • 如果在 Redis 查到了, 就直接返回
  • 如果 Redis 中不存在, 就从数据库查, 把查到的结果同时也写⼊ Redis

如果缓存已经满了(达到上限), 就触发缓存淘汰策略, 把⼀些 “相对不那么热⻔” 的数据淘汰掉。

按照上述过程,持续⼀段时间的“动态平衡”之后,Redis 内部的数据⾃然就是 “热⻔数据” 了。

通⽤的淘汰策略主要有以下⼏种:

下列策略并⾮局限于 Redis, 其他缓存也可以按这些策略展开。

FIFO (First In First Out) 先进先出

把缓存中存在时间最久的 (也就是先来的数据) 淘汰掉

LRU (Least Recently Used) 淘汰最久未使⽤的

记录每个 key 的最近访问时间。把最近访问时间最⽼的 key 淘汰掉。

LFU (Least Frequently Used) 淘汰访问次数最少的

记录每个 key 最近⼀段时间的访问次数。把访问次数最少的淘汰掉。

Random 随机淘汰

从所有的 key 中抽取幸运⼉被随机淘汰掉。

理解上述⼏种淘汰策略:

想象你是个皇帝, 有后宫佳丽三千。虽然你是 “真⻰天⼦”, 但是经常宠幸的妃⼦也就那么寥寥数⼈(精⼒有限)。

后宫佳丽三千, 相当于数据库中的全量数据。经常宠幸的妃⼦相当于热点数据, 是放在缓存中的

今年选秀的⼀批新的⼩主, 其中有⼀个被你看上了。宠信新⼈, ⾃然就需要有旧⼈被冷落。到底谁是要被冷落的⼈呢?

  • FIFO:皇后是最先受宠的,现在已经年⽼⾊衰了,皇后失宠。
  • LRU:统计最近宠幸时间。皇后(⼀周前), 熹妃(昨天), 安答应(两周前), 华妃(⼀个⽉前)。华妃失宠。
  • LFU:统计最近⼀个⽉的宠幸次数, 皇后(3次), 熹妃(15次), 安答应(1次), 华妃(10次)。安答应失宠。
  • Random:随机挑⼀个妃⼦失宠。

这⾥的淘汰策略, 我们可以⾃⼰实现。当然 Redis 也提供了内置的淘汰策略,也可以供我们直接使⽤。

Redis 内置的内存淘汰策略如下:

  • volatile-lru 当内存不⾜以容纳新写⼊数据时,从设置了过期时间的key中使⽤ LRU(least recently used 最近最少使⽤)算法进⾏淘汰
  • allkeys-lru 当内存不⾜以容纳新写⼊数据时,从所有key中使⽤ LRU(最近最少使⽤)算法进⾏淘汰
  • volatile-lfu 4.0版本新增,当内存不⾜以容纳新写⼊数据时,在过期的key中,使⽤ LFU(least frequently used 最不经常使用) 算法进⾏删除key
  • allkeys-lfu 4.0版本新增,当内存不⾜以容纳新写⼊数据时,从所有key中使⽤ LFU 算法进⾏淘汰
  • volatile-random 当内存不⾜以容纳新写⼊数据时,从设置了过期时间的key中,随机淘汰数据
  • allkeys-random 当内存不⾜以容纳新写⼊数据时,从所有key中随机淘汰数据
  • volatile-ttl 在设置了过期时间的key中,根据过期时间进⾏淘汰,越早过期的优先被淘汰(相当于 FIFO, 只不过是局限于过期的 key)
  • noeviction 默认策略,当内存不⾜以容纳新写⼊数据时,新写⼊操作会报错。(不适用于实时更新缓存)

整体来说 Redis 提供的策略和我们上述介绍的通⽤策略是基本⼀致的。只不过 Redis 这⾥会针对 “过期key” 和 “全部 key” 做分别处理

缓存预热,缓存穿透,缓存雪崩 和 缓存击穿

关于缓存预热 (Cache preheating)
什么是缓存预热

和缓存里的热点数据怎么来是密切相关的

  1. 定期生成,是不涉及“预热”的
  2. 实时生成

使⽤ Redis 作为 MySQL 的缓存的时候, 当 Redis 刚刚启动, 或者 Redis ⼤批 key 失效之后, 此时由于Redis ⾃⾝相当于是空着的, 没啥缓存数据, 那么 MySQL 就可能直接被访问到, 从⽽造成较⼤的请求压⼒。

缓存预热,就是解决上述问题

通过把定期生成和实时生成结合一下。

先通过离线的方式,通过一些统计的途径,把热点数据找到一批,导入到 redis 中。此时导入的这批热点数据,就能帮 MySQL 承担很大压力了。

因此就需要提前把热点数据准备好, 直接写⼊到 Redis 中,使 Redis 可以尽快为 MySQL 撑起保护伞。

热点数据可以基于之前介绍的统计的⽅式⽣成即可。这份热点数据不⼀定⾮得那么 “准确”, 只要能帮助MySQL 抵挡⼤部分请求即可。随着程序运⾏的推移, 缓存的热点数据会逐渐⾃动调整, 来更适应当前情况

关于缓存穿透 (Cache penetration)
什么是缓存穿透

访问的 key 在 Redis 和 数据库中都不存在。此时这样的 key 不会被放到缓存上,后续如果仍然在访问该key,依然会访问到数据库

这次查询,没有;下次查询,依然没有。

如果像这样的数据存在很多,并且还反复查询,一样会给 MySQL 造成很大压力

这就会导致数据库承担的请求太多,压⼒很⼤

这种情况称为 缓存穿透

为何产⽣

原因可能有⼏种:

  • 业务设计不合理。⽐如缺少必要的参数校验环节,导致⾮法的 key 也被进⾏查询了
  • 开发/运维误操作。不⼩⼼把部分数据从数据库上误删了
  • ⿊客恶意攻击
如何解决
  • 针对要查询的参数进⾏严格的合法性校验。⽐如要查询的 key 是⽤⼾的⼿机号,那么就需要校验当前 key 是否满⾜⼀个合法的⼿机号的格式
  • 针对数据库上也不存在的 key,也存储到 Redis 中,但是把 value 就随便设成⼀个 “”。避免后续频繁访问数据库
  • 使⽤布隆过滤器先判定 key 是否存在,再真正查询

关于布隆过滤器, 在数据结构进阶, 有具体介绍。

简单的说,布隆过滤器是结合了 hash + bitmap 的思想,能够⽤较少的空间,判定某个元素是否存在

关于缓存雪崩 (Cache avalanche)
什么是缓存雪崩

短时间内⼤量的 key 在缓存上失效,导致缓存命中率陡然下降,进而导致数据库压⼒骤增,甚⾄直接宕机

本来 Redis 是 MySQL 的⼀个护盾, 帮 MySQL 抵挡了很多外部的压⼒。⼀旦护盾突然失效了, MySQL⾃⾝承担的压⼒骤增, 就可能直接崩溃

为何产⽣

⼤规模 key 失效,可能性主要有两种

  • Redis 挂了
  • Redis 上的⼤量的 key 同时过期

为啥会出现⼤量的 key 同时过期?

这种很可能是短时间内在 Redis 上缓存了⼤量的 key, 并且设定了相同的过期时间(和 redis 内存淘汰机制是配合使用)

如何解决
  • 部署⾼可⽤的 Redis 集群,并且完善监控报警体系
  • 不给 key 设置过期时间 或者 设置过期时间的时候添加随机时间因⼦,避免同一时刻过期
关于缓存击穿 (Cache breakdown)
什么是缓存击穿

此处把 breakdown 翻译成 “击穿” ,个⼈以为并⾮是⼀个好的选择。容易和缓存穿透混淆。

翻译成 “瘫痪” 或者 “崩溃” 也许更合适⼀些

breakdown n.(汽⻋或机器的)故障,损坏;(关系的)破裂,(系统的)瘫痪;精神崩溃,(健康、体⼒等的)衰竭;细⽬,分类;分解;跺脚曳步舞

相当于缓存雪崩的特殊情况。针对热点 key,突然过期了,导致⼤量的请求直接访问到数据库上,甚⾄引起数据库宕机。

如何解决
  • 基于统计的⽅式发现热点 key,并设置永不过期
  • 进⾏必要的服务降级。例如访问数据库的时候使⽤分布式锁,限制同时请求数据库的并发数。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/423208.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

网络安全学习路线图(2024版详解)

近期,大家在网上对于网络安全讨论比较多,想要学习的人也不少,但是需要学习哪些内容,按照什么顺序去学习呢?其实我们已经出国多版本的网络安全学习路线图,一直以来效果也比较不错,本次我们针对市…

树莓派!干农活!

农作物种植是一个需要精准操作的行业,而农业的长期趋势是朝着机械化方向发展。Directed Machines公司的土地护理机器人(Land Care Robot),基于Raspberry Pi4和RP2040构建,是解放稀缺人力资本的一种经济高效方式。 Dir…

用Matlab求解绘制2D散点(x y)数据的最小外接矩形

用Matlab求解绘制2D散点(x y)数据的最小外接矩形 0 引言1 原理介绍及实现2 完整代码及相关函数3 结语 0 引言 散点/多边形的外接图形是确定模型轮廓或姿态的一种可视化方法,也是有很大的用途的。前面已经介绍过两种简单的散点 ( x , y ) {(x,…

mysql——关于表的增删改查(CRUD)

目录 比较运算符和逻辑运算符图 一、增加(Create) 1、全列插入 2、指定列插入 二、查询(Retrieve) 1、全列查询 2、指定列查询 3、别名(as) 4、表达式查询 5、去重(distinct) 6、…

如何正确复盘带货直播间?

如何正确复盘带货直播间?其实,直播复盘可以分为四个关键步骤。首先,如果你的直播间没有人进来,核心问题往往是曝光率太低。观众不愿意点击进入你的直播间,那还谈什么卖货呢?平台也不会给予推荐流量。那么&a…

和服务端系统的通信

首先web网站 前端浏览器 和 后端系统 是通过HTTP协议进行通信的 同步请求&异步请求: 同步请求:可以从浏览器中直接获取的(HTML/CSS/JS这样的静态文件资源),这种获取请求的http称为同步请求 异步请求:js代码需要到服…

Android12_13左上角状态栏数字时间显示右移动

文章目录 问题场景解决问题 一、基础资料二、代码追踪三、解决方案布局的角度解决更改paddingStart 的默认值设置marginLeft 值 硬编码的角度解决 问题场景 1)早期一般屏幕都是方形的,但是曲面屏,比如:好多车机Android产品、魔镜…

springboot 的共享session方案?

问:springboot 的共享session方案? 参考: https://juejin.cn/post/7195227930077691963分布式之session共享问题 4种解决方案及spring session的使用_分布式session共享方案-CSDN博客 什么是 Session ? 答:因为Http协…

杂七杂八-部署框架

杂七杂八-部署框架 docker docker dockerhub:Docker发布/上传镜像到dockerhub&&下载/拉取镜像&&删除dockerhub镜像 仅个人笔记使用,感谢点赞关注 目前仅专注于 NLP 大模型 机器学习和前后端的技术学习和分享 感谢大家的关注与支持&…

前端技术(七)——less 教程

一、less简介 1. less是什么? less是一种动态样式语言,属于css预处理器的范畴,它扩展了CSS语言,增加了变量、Mixin、函数等特性,使CSS 更易维护和扩展LESS 既可以在 客户端 上运行 ,也可以借助Node.js在服…

STM32CubeMx学习笔记——GPIO使用

一、新建工程 1、选择芯片型号 2、配置时钟RCC 选择 HSE(外部高速时钟) 为 Crystal/Ceramic Resonator(晶振/陶瓷谐振器) ​ 3、时钟树配置 在clock Configuration中将HCLK配置为最高频率然后回车 ​ 4、选择调试模式 SYS 设置,选择 Debug 为 Serial Wire …

Qt qrc机制

文章目录 0. 前言1. qrc机制2. qrc使用 0. 前言 要设置窗口图标,就需要有图片及其图片所在路径,在本机上可能没什么问题,但是换了一个机器,路径可能不一致或者图片丢失,这就导致图片显示不出来。 Qt引入qrc机制&…

【零基础学习CAPL】——CRC值监控测试

🙋‍♂️【零基础学习CAPL】系列💁‍♂️点击跳转 ——————————————————————————————————–—— 从0开始学习CANoe使用 从0开始学习车载车身 相信时间的力量 星光不负赶路者,时光不负有心人。 目录 1.概述2.需求介绍3.算法4.逻辑判断5.测…

swift qwen2-vl推理及加载lora使用案例

参考: https://swift.readthedocs.io/zh-cn/latest/Instruction/LLM%E5%BE%AE%E8%B0%83%E6%96%87%E6%A1%A3.html#%E5%BE%AE%E8%B0%83%E5%90%8E%E6%A8%A1%E5%9E%8B https://blog.csdn.net/weixin_42357472/article/details/142150209 SWIFT支持300+ LLM和50+ MLLM(多模态大模型…

《程序猿之设计模式实战 · 装饰者模式》

📢 大家好,我是 【战神刘玉栋】,有10多年的研发经验,致力于前后端技术栈的知识沉淀和传播。 💗 🌻 CSDN入驻不久,希望大家多多支持,后续会继续提升文章质量,绝不滥竽充数…

欢迎来到我的Java世界“抽象类”

前言 在上篇中我们学习到了继承的概念、语法等等,那么小编将来为大家方享下一篇Java中的抽象类。 1.抽象类的概念 2.抽象类的语法 3.抽象类的特性 4.抽象类的作用 一:讲到抽象类,大家是不是会很迷惑什么是抽象类? 在面向对象…

安卓framework美化手势导航侧滑返回UI

文章目录 手势导航的侧滑返回效果图原生效果如下:要实现的功能,: 实现代码1. 初始化代码2. 修改绘制的代码,进行箭头与退出UI的显示3. 拖动的时候手指上下移动时,箭头ui跟着移动 以下是一些其他可以美化安卓右滑手势拖动 UI 的方法:视觉效果方面形状和布局方面 安卓…

加密软件有哪些数据防护功能?

1.文件透明加密:采用透明加密技术,自动对指定类型的敏感文件进行实时加密,确保数据在存储和传输过程中的安全性。 2.权限管理与访问控制:通过细粒度的权限管理,控制员工对敏感数据的访问权限,包括读取、修…

PHP一键约课高效健身智能健身管理系统小程序源码

一键约课,高效健身 —— 智能健身管理系统让健康触手可及 🏋️‍♀️ 告别繁琐,一键开启健身之旅 你还在为每次去健身房前的繁琐预约流程而烦恼吗?现在有了“一键约课高效健身智能健身管理系统”,所有问题都迎刃而解…

Solana核心漏洞技术详解

8月9日,Solana团队齐心协力解决了一个严重的安全漏洞。这次秘密修复详情可以在GitHub上查询到。CertiK团队对这一漏洞进行了深入分析。 1. Solana漏洞起因 8月9日,Solana验证者和客户端团队齐心协力解决了一个严重的安全漏洞。Solana验证者Laine表示&am…