Redis内存策略:「过期Key删除策略」+ 「内存淘汰策略」

Redis之所以性能强,最主要的原因就是基于内存存储,然而单节点的Redis其内存大小不宜过大,否则会影响持久化或主从同步的性能。

Redis内存满了,会发生什么?

  • 在Redis的运行内存达到了某个阈值,就会触发内存淘汰机制  =>  防止把内存撑爆,这个阈值就是我们设置的最大运行内存。 

我们可以通过修改redis.conf配置文件来设置Redis的最大内存,配置项为maxmemory:

  • Redis默认情况下是没有对最大内存大小做限制的,默认情况下Redis就是根据你当前的服务器里面,当前最多可以申请到的内存大小来去做限制! 
# 格式:
# maxmemory <bytes>
# 例如:
maxmemory 1gb

当内存使用达到上限,就无法存储更多数据了,因此,为了解决这个问题,Redis内部会有两套内存回收的策略:

  • 内存过期策略
  • 内存淘汰策略

 

内存过期策略 - 过期key处理 - 过期删除策略

如何设置过期时间?
  1. expire key n秒     
  2. pexpire key  n毫秒     
  3. set   key  value  ex  n秒   
  4. set  key  value nx  n毫秒

查看某个key剩余的存活时间:TTL  key 

  • 我们可以通过expire / EX命令给Redis的key设置TTL(过期时间 / 存活时间),单位:秒,当key的TTL到期以后,即当过期时间到了以后,再次访问该key时返回的是nil,说明这个Key已经不存在了,对应的内存也得到释放,从而起到内存回收的目的。
# 写入一条数据
set num 123
# 设置20秒过期时间
expire num 20
# 写入一条数据并设置20s过期时间
set num EX 20

Redis是如何知道一个key是否过期呢?

  • Redis本身是一个典型的key-value的键值型内存存储数据库,因此所有的key-value都保存在Dict结构中,在其redisDb结构体中,有两个Dict,也就是哈希表:一个用来记录KEY-VALUE键值对(当然存的不是真正的Key-Value,存储的其实是RedisObject对应的内存地址的指针),另一个用来记录key的TTL。

过期字典存储在 redisDb 结构中,如下: 

来看下redisDb的底层源码:

typedef struct redisDb {dict dict;                 / The keyspace for this DB , 也就是存放KEY和VALUE的哈希表*/dict *expires;              /* 同样是哈希表,但保存的是设置了TTL的KEY,及其到期时间*/dict *blocking_keys;        /* Keys with clients waiting for data (BLPOP)*/dict *ready_keys;           /* Blocked keys that received a PUSH */dict *watched_keys;         /* WATCHED keys for MULTI/EXEC CAS /int id;                     / Database ID, 0 ~ 15 /long long avg_ttl;          / Average TTL, just for stats /unsigned long expires_cursor; / Cursor of the active expire cycle. */list *defrag_later;         /* List of key names to attempt to defrag one by one, gradually. */
} redisDb;

每当我们对一个key设置了过期时间后,Redis会把该key带上过期时间存储到一个过期字典(expires dict)中,也就是说「过期字典」保存了数据库中所有 key 的过期时间。 

当我们查询一个 key 时,Redis 首先检查该 key 是否存在于过期字典中:

  • 如果不在,则正常读取键值;
  • 如果存在,则会获取该 key 的过期时间,然后与当前系统时间进行比对,如果比系统时间大,那就没有过期,否则判定该 key 已过期    =>   查询到对应的TTL,加以判断即可。

是不是TTL到期就立即删除了呢? 

TTL(Time To Live)的含义是存活时间。 

  • Redis并不会在Key过期时立刻删除KEY,因为要实现这样的效果就必须给每一个过期Key设置一个定时器,并监控这些Key的过期状态,然后去做判断,在key过期的那一刻给它立刻删掉   =>  定时删除它的优点就是保证过期key会被尽快删除,也就是内存可以尽快得到释放,因此,定时删除对内存是最友好的;
  • 如果说我们的key比较少那还好,但是如果我们的key非常的多,达到数十万甚至数百万,那么这些key如果我们都给它设置这样一个定时器,无论是对CPU还是对内存都会带来极大的负担,这样一来,就会严重影响到Redis服务本身的一个性能,所以说这个是没有办法接受的,因此,我们在实际应用当中,Redis采用的并不是立即删除,而是惰性删除  + 周期删除  =>   Redis 使用的过期删除策略是惰性删除+定期删除这两种策略配和使用,删除的对象是已过期的 key。

Redis的过期KEY删除策略有两种:

  • 惰性删除

  • 周期删除或定期删除

惰性删除

  • 顾名思义就是TTL过期后不会立刻删除,惰性删除策略的做法是,不主动删除过期键,而是在访问使用一个key的时候,判断当前key有没有设置TTL过期时间,如果有,则检查该key的存活时间,如果发现key已经过期才执行删除操作,如果没有过期,不做任何处理,然后返回正常的键值对给客户端。 

惰性删除策略的优缺点:

优点:
  • 因为每次访问时,才会检查该key是否过期,因此惰性删除策略可以节省CPU资源,对CPU时间最友好。
缺点:
  • 如果一个key已经过期,而这个key又仍然保留在数据库中,那么只要这个过期key一致没有被访问,它所占用的内存就不会释放,会造成一定的内存空间浪费,所以惰性删除策略对内存不友好   =>   这不就是会导致内存泄漏吗???

周期删除 / 定期删除策略

  • 顾名思义就是通过一个定时任务,每隔一段时间周期性的从数据库中抽取一定数量的key进行检查,并删除其中的过期key。

Redis默认会每秒进行10次过期检查(此配置可以通过Redis的配置文件redis.conf进行配置,配置键为hz,它的默认值是hz 10),每次检查数据库并不是遍历过期字典中的所有key,而是从数据库中随机抽取一定数量的key进行过期检查:

  1. 从过期字典中随机抽取20个key;
  2. 检查这20个key是否过期,并删除已过期的key;
  3. 如果本轮检查的已过期key的数量,超过5个(5 / 20 = 1 / 4 = 25%),也就是「已过期 key 的数量」占比「随机抽取 key 的数量」大于 25%,则继续随机抽查,重复步骤1;如果已过期的key的比例小于25%,则停止继续删除过期key,退出本轮检查,然后等待下一轮再检查。 

可以看到,定期删除是一个循环的流程

Redis为了保证定期删除不会出现循环过度,导致线程卡死现象,为此增加了定期删除循环流程的时间上限,默认不会超过25ms,超出时间限制则退出。 

定期删除策略的优缺点

优点:
  • 定期删除是Redis的主动删除策略,它可以确保过期key能够及时被删除
缺点:
  • 会占用CPU资源去扫描key,可能会影响到Redis的性能 

可以看到,惰性删除策略和定期删除策略都有各自的优缺点,所以Redis选择「惰性删除+定期删除」这两种策略配和使用,以求在合理使用 CPU 时间和避免内存浪费之间取得平衡。 

如果过期键没有被访问,而定期删除又跟不上新键产生的速度,内存不就慢慢耗尽了吗? 

内存淘汰策略

内存淘汰:

  • 就是当Redis的内存使用达到设置的阈值时,Redis就会主动挑选部分key删除以释放更多内存的流程,这就叫做内存淘汰机制。
  • 内存淘汰策略是解决内存过大的问题。

内存淘汰时机

当内存达到阈值时执行内存淘汰,但问题是Redis什么时候会去判断内存是否达到阈值呢?

  • Redis每次执行任何命令时,都会判断内存是否达到阈值。

当Redis内存不足时会怎么做?

  • 这取决于配置的内存淘汰策略,Redis支持很多种内存淘汰策略,例如LRU、LFU、Random,但默认的策略是直接决绝新的写入请求,而如果设置了其它策略,则会在每次执行命令后判断内存占用是否达到阈值,如果达到阈值则会基于配置的内存淘汰策略尝试进行内存淘汰,直到占用内存小于阈值为止。 

Redis 内存淘汰策略有哪些? 

Redis支持内存淘汰,配置参数maxmemory-policy决定了内存淘汰策略,这个参数一共有8个枚举值,也就是说Redis内存淘汰策略共有8种这八种策略大体分为「不进行数据淘汰」和「进行数据淘汰」两类策略:

1. 不进行数据淘汰的策略

  • noevictionRedis3.0之后,默认的内存淘汰策略) :禁止删除数据,它表示当Redis的运行内存超过最大设置内存时,也就是当Redis内存满时,不淘汰任何键值对数据,而是不再提供服务,不允许写入新数据,Redis的写命令会直接返回错误信息(但是读命令还是可以正常返回)。

2. 进行数据淘汰的策略

针对「进行数据淘汰」这一类策略,又可以细分为「在设置了过期时间的数据中进行淘汰」和「在所有数据范围内进行淘汰」这两类策略。 在设置了过期时间的数据中进行淘汰:

  • volatile-random随机淘汰设置了过期时间的任意键值 - 从已设置过期时间的数据集中任意选择数据淘汰;
  • volatile-ttl从已设置过期时间的数据集中挑选将要过期的数据淘汰:比较key的剩余TTL值,TTL越小越先被淘汰。
  • volatile-lru(Redis3.0 之前,默认的内存淘汰策略):LRU(Least Recently Used),最近最久未使用,利用LRU算法淘汰所有设置了TTL过期时间的键值中,最久未使用的键值;
  • volatile-lfu(Redis 4.0 后新增的内存淘汰策略):LFU(Least Frequently Used),最少频率使用,淘汰所有设置了TTL过期时间的键值中,最少使用的键值;

在所有数据范围内进行淘汰:

  • allkeys-random:对全体key,随机进行淘汰;
  • allkeys-lruLRU(Least Recently Used),最近最久未使用,淘汰全体键值中最久未使用的键值;
  • allkeys-lfuRedis 4.0 后新增的内存淘汰策略)::LFU(Least Frequently Used),最少频率使用,淘汰整个键值中最少使用的键值,即访问频率最低的那个key-value

比较容易混淆的有两个算法:

  • LRU(Least Recently Used),最近最久未使用(根据访问时间淘汰)会选择淘汰最近最少使用的数据,用当前时间减去最后一次访问时间,这个值越大则淘汰优先级越高。
  • LFU(Least Frequently Used),最少频率使用(根据访问频率淘汰),LFU 算法是根据数据访问次数来淘汰数据的,它的核心思想是“如果数据过去被访问多次,那么将来被访问的频率也更高”,所以, LFU 算法会统计每个key的访问频率,值越小淘汰优先级越高。 

Redis 4.0开始支持基于LFU算法的淘汰策略! 

Redis为什么新增了LFU淘汰策略?

为什么Redis 4.0有了LFU?
  • 比如Redis中的一个键,之前一直都没有被访问过,最近突然被访问了一次,如果使用LRU淘汰策略就很难被淘汰,因为LRU会把它定义为热键;
  • 而使用LFU淘汰策略该key就可能很快被淘汰,因为LRU优先淘汰最近未被使用的,而LFU淘汰的是最近访问频率最低的。
  • LFU比LRU淘汰更精确,有助于提升Redis的缓存命中率。 

Redis怎么知道某个KEY的最后一次访问时间或者是访问频率呢? 

  • redisObject结构体当中的lru就是记录最近一次访问时间和访问频率的,以低8位无符号数字来记录逻辑访问次数。
  • 逻辑访问次数又是怎么回事呢?8位无符号数字最大才255,访问次数超过255怎么办?

逻辑访问次数是如何计算的?

  • 由于记录访问次数的只有8bit,即便是无符号数,最大值只有255,不可能记录真实的访问次数,因此LFU的访问次数之所以叫做逻辑访问次数,是因为并不是每次key被访问都计数,Redis统计的其实是逻辑访问次数,这其中是一个计算公式,会根据当前的访问次数做计算,结果要么是次数 + 1,要么是次数不变,且最大不超过255,除此以外,逻辑访问次数还有一个衰减周期,访问次数会随时间衰减,默认为1分钟,即每隔1分钟逻辑访问次数会 -1,这样逻辑访问次数就能基本反映出一个key的访问热度了。

 显然LFU的基于访问频率的统计更符合我们的淘汰目标,因此官方推荐使用LFU算法。 

内存淘汰用到的是LRU算法吗?

  • 嗯...Redis使用的是近似LRU算法传统LRU算法的实现需要一个双向链表来记录数据最近被访问的顺序,最新操作的键会被移动到表头,当需要内存淘汰时,只需要删除链表尾部的数据即可,因为链表尾部的元素就代表最久未被使用的元素。 
  • 但是Redis中的KEY可能有数百万甚至更多,出于节省内存的考虑,Redis的LRU算法并非完整的实现,Redis的算法并不是真正的LRU,而是一种基于抽样的近似LRU算法!
  • Redis采用的是抽样法,即每次抽样一定数量(maxmemory-samples)的key,然后和目前维持的淘汰候选池综合比较,然后基于内存策略做排序,找出淘汰优先级最高的,删除这个key,这就使得算法的结果更接近于真正的LRU算法了,特别是在抽样值较高的情况下(例如10),可以达到与真正的LRU接近的结果。

当Redis作为缓存使用的时候,推荐使用allkeys-lru淘汰策略,该策略会将最近最久未使用的key淘汰,像这种key后期命中的概率也最低,所以将其淘汰。 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/234918.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Docker-Compose部署Redis(v7.2)主从模式

文章目录 一、前提准备1. redis配置文件2. 下载redis镜像3. 文件夹结构 二、docker-compose三、主从配置1.主节点配置文件2.从节点配置文件 四、运行五、测试 环境 docker desktop for windows 4.23.0redis 7.2 一、前提准备 1. redis配置文件 因为Redis 7.2 docker镜像里面…

用户管理第一节课,阿里生成代码包

鱼皮教程生成所用到的 一、网址 网址&#xff1a; Cloud Native App Initializer (aliyun.com) 二、仿照生成 2.1 Maven Project & Java 2.2 Spring Boot版本 2.3 高级选项 2.3.1 项目名称可根据需求改 注意&#xff1a;不要有空格 2.4 应用架构 选择&#xff1a;单…

RabbitMQ高级

文章目录 一.消息可靠性1.生产者消息确认2.消息持久化3.消费者确认4.消费者失败重试 MQ的一些常见问题 1.消息可靠性问题:如何确保发送的消息至少被消费一次 2.延迟消息问题:如何实现消息的延迟投递 3.高可用问题:如何避免单点的MQ故障而导致的不可用问题 4.消息堆积问题:如…

统一网关 Gateway【微服务】

文章目录 1. 前言2. 搭建网关服务3. 路由断言工厂4. 路由过滤器4.1 普通过滤器4.2 全局过滤器4.3 过滤器执行顺序 5. 跨域问题处理 1. 前言 通过前面的学习我们知道&#xff0c;通过 Feign 就可以向指定的微服务发起 http 请求&#xff0c;完成远程调用。但是这里有一个问题&am…

力扣最热一百题——只出现一次的数字

这个合集已经很久没有更新了&#xff0c;今天来更新更新~~~ 目录 力扣题号 题目 题目描述 示例 提示 题解 Java解法一&#xff1a;Map集合 Java解法二&#xff1a;位运算 C位运算代码 力扣题号 136. 只出现一次的数字 - 力扣&#xff08;LeetCode&#xff09; 下述题…

Linux 常用指令汇总

Linux 常用指令汇总 文章目录 Linux 常用指令汇总[toc]前言一、文件目录指令pwd 指令ls 指令cd 指令mkdir 指令rmdir 指令tree 指令cp 指令rm 指令mv 指令cat 指令more 指令less 指令head 指令tail 指令echo 指令> 指令>> 指令 二、时间日期指令date 指令cal 指令 三、…

MySQL语法及IDEA使用MySQL大全

在项目中我们时常需要写SQL语句&#xff0c;或简单的使用注解直接开发&#xff0c;或使用XML进行动态SQL之类的相对困难的SQL&#xff0c;并在IDEA中操控我们的SQL&#xff0c;但网上大都图方便或者觉得太简单了&#xff0c;完全没一个涵盖两个方面的讲解。 单表&#xff1a; …

[C#]winform部署PaddleDetection的yolo印章检测模型

【官方框架地址】 https://github.com/PaddlePaddle/PaddleDetection.git 【算法介绍】 PaddleDetection 是一个基于 PaddlePaddle&#xff08;飞桨&#xff09;深度学习框架的开源目标检测工具库。它提供了一系列先进的目标检测算法&#xff0c;包括但不限于 Faster R-CNN, …

音量控制软件sound control mac功能亮点

sound control mac可以帮助用户控制某个独立应用程序的音量&#xff0c;通过每应用音量&#xff0c;均衡器&#xff0c;平衡和音频路由独立控制每个应用的音频&#xff0c;还有整个系统的音量。 sound control mac功能亮点 每个应用程序的音量控制 独立控制应用的数量。 键盘音…

接口功能测试策略

由于平台服务器是通过接口来与客户端交互数据提供各种服务&#xff0c;因此服务器测试工作首先需要进行的是接口测试工作。测试人员需要通过服务器接口功能测试来确保接口功能实现正确&#xff0c;那么其他测试人员进行客户端与服务器结合的系统测试过程中&#xff0c;就能够排…

【现代密码学】笔记3.4-3.7--构造安全加密方案、CPA安全、CCA安全 《introduction to modern cryphtography》

【现代密码学】笔记3.4-3.7--构造安全加密方案、CPA安全、CCA安全 《introduction to modern cryphtography》 写在最前面私钥加密与伪随机性 第二部分流加密与CPA多重加密 CPA安全加密方案CPA安全实验、预言机访问&#xff08;oracle access&#xff09; 操作模式伪随机函数PR…

ChatGPT知名开源项目有哪些

ChatGPT-Next-Web&#xff1a;基于ChatGPT API的私有化部署网页聊天系统 主要功能&#xff1a; 只需在 1 分钟内即可在 Vercel 上一键免费部署&#xff0c;支持私有服务器快速部署&#xff0c;支持使用私有域名支持ChatGPT3.5、4等常见模型Linux/Windows/MacOS 上的紧凑型客户…

数据库开发工具Navicat Premium 15 mac软件特色

Navicat Premium 15 mac版是一款数据库开发工具&#xff0c;Navicat Premium 15 Mac版可以让你以单一程序同時连接到 MySQL、MariaDB、SQL Server、SQLite、Oracle 和 PostgreSQL 数据库。 Navicat Premium mac软件特色 无缝数据迁移 数据传输&#xff0c;数据同步和结构同步…

Mysql InnoDB行锁深入理解

Record Lock记录锁 Record Lock 称为记录锁&#xff0c;锁住的是一条记录。而且记录锁是有 S 锁和 X 锁之分的&#xff1a; 当一个事务对一条记录加了 S 型记录锁后&#xff0c;其他事务也可以继续对该记录加 S 型记录锁&#xff08;S 型与 S 锁兼容&#xff09;&#xff0c;…

唠一唠Java线程池

第1章&#xff1a;引言 大家好&#xff0c;我是小黑&#xff0c;咱们今天来聊聊Java线程池&#xff0c;如果没有线程池&#xff0c;每个线程都需要手动创建和销毁线程&#xff0c;那将是多么低效和耗资源啊&#xff01; 线程池的核心作用就是复用已创建的线程&#xff0c;减少…

固乔快递查询助手:批量、快速、全面的快递信息查询软件

在快递行业飞速发展的今天&#xff0c;如何高效、准确地掌握快递信息成为了很多人的需求。而固乔快递查询助手正是解决这一难题的利器。 固乔快递查询助手是一款专注于快递信息查询的软件&#xff0c;支持多家主流快递公司查询。用户只需输入单号&#xff0c;即可快速查询到实时…

对root用户的理解

1.什么是root用户&#xff1f; Windows、MacOS、Linux均采用多用户的管理模式进行权限管理。在Linux系统中&#xff0c;拥有最大权限的账户名为&#xff1a;root&#xff08;超级管理员&#xff09; root用户拥有最大的系统操作权限&#xff0c;而普通用户在许多地方的权限是受…

75应急响应-数据库漏洞口令检索应急取证箱

必要知识点 第三方应用是选择性的安装的&#xff0c;比如mysql&#xff0c;如何做好信息收集&#xff0c;有没有爆过它的漏洞&#xff0c;和漏洞探针也是获取攻击者思路的重要操作&#xff0c;除去本身漏洞外&#xff0c;提前预知或口令相关攻击也要进行筛选。 排除三方应用…

力扣刷题-二叉树-合并二叉树

617.合并二叉树&#xff08;经典&#xff09; 合并二叉树是操作两棵树的题目里面很经典的&#xff0c;如何对两棵树遍历以及处理&#xff1f; 给定两个二叉树&#xff0c;想象当你将它们中的一个覆盖到另一个上时&#xff0c;两个二叉树的一些节点便会重叠。 你需要将他们合并…

LabVIEW在微生物检测中的应用

随着对食品安全关注的增加&#xff0c;食品检测的准确性变得越来越重要。其中&#xff0c;微生物计数作为食品合格的关键指标&#xff0c;对其检测技术的准确性和实时性要求极高。传统的微生物检测面临着菌落识别困难、设备实时性差和自动化程度不高等问题&#xff0c;尤其在疫…