“Redis中的持久化:深入理解RDB与AOF机制“

目录

# 概念

1. RDB持久化

1.1 备份是如何执行的(RDB过程)

1.2 配置文件信息

1.3 RDB持久化操作

1.4 RDB优势

1.5 RDB劣势

1.6 RDB做备份

2. AOF持久化

2.1 AOF开启及使用

2.2 异常恢复

2.3 配置文件操作

2.4 AOF持久化流程

2.5 优点

2.6 劣势


# 概念

  • redis持久化概念

    redis是我们的内存数据,存在内存中的,但是redis也可以写道硬盘中去,这个过程就叫持久化;

  • RDB与AOF的优先级

    AOF和 RDB 同时开启,系统默认取 AOF的数据(数据不会存在丢失);

1. RDB持久化

  • 概念

    就是在指定的时间间隔中将内存中的数据集快照写入到磁盘中(硬盘是磁盘的一种),比如每个10秒写入一次,再过10秒写入一次等;

1.1 备份是如何执行的(RDB过程)

        Redis会单独创建(fork)一个子进程来进行持久化,会先将数据写入到一个临时文件中,待持久化过程都结束了,再用这个临时文件替换上次持久化好的文件。整个过程中,主进程是不进行任何I0操作的,这就确保了极高的性能如果需要进行大规模数据的恢复,且对于数据恢复的完整性不是非常敏感,那RDB方式要比AOF方式更加的高效。RDB 的缺点是最后一次持久化后的数据可能丢失;

  • Fork:

    Fork 的作用是复制一个与当前进程一样的进程。新进程的所有数据(变量、环境变量、程序计数器等)数值都和原进程一致,但是是一个全新的进程,并作为原进程的子进程;

    在 Linux 程序中,fork()会产生一个和父进程完全相同的子进程,但子进程在此后多会 exec 系统调用,出于效率考虑,Linux 中引入了“写时复制技术”;

    一般情况父进程和子进程会共用同一段物理内存,只有进程空间的各段的内容要发生变化时,才会将父进程的内容复制一份给子进程;

dump.rdb文件:

1.2 配置文件信息

配置文件存在:vim /etc/redis.conf

一、stop-writes-on-bgsave-error yes(当redis无法写入磁盘,直接关闭redis写操作,推荐yes)

二、rdbcompression yes(对于存储到磁盘中的快照,设置是否进行压缩存储)

对于存储到磁盘中的快照,设置是否进行压缩存储。如果是,redis会采用LZF算法进行压缩;

如果不想消耗CPU进行压缩,可以设置为关闭此功能,推荐yes;

三、rdbchecksum检查完整性(存储快照后让redis使用CRC64算法进行数据校验)

推荐yes;

四、Save秒钟(写操作次数)

  • 在 Redis 的配置文件中,save 命令用于配置数据库的 RDB(Redis Database)持久化策略。它定义了在特定时间间隔内,如果发生了一定数量的键改变,Redis 将触发持久化操作,将数据保存到磁盘中。

这三条配置定义了 Redis 在以下条件下触发持久化的规则:

  1. save 900 1:
    • 时间间隔: 900秒(15分钟)。
    • 键改变数量: 至少1个键。
    • 解释: 如果在900秒内,至少有1个键发生了变化(被修改、删除或新增),Redis 将触发一次持久化操作,将数据保存到磁盘。
  2. save 300 10:
    • 时间间隔: 300秒(5分钟)。
    • 键改变数量: 至少10个键。
    • 解释: 如果在300秒内,至少有10个键发生了变化,Redis 将触发一次持久化操作,将数据保存到磁盘。
  3. save 60 10000:
    • 时间间隔: 60秒(1分钟)。
    • 键改变数量: 至少10000个键。
    • 解释: 如果在60秒内,至少有10000个键发生了变化,Redis 将触发一次持久化操作,将数据保存到磁盘。
  • 运行原理

    Redis 会在后台持续监视键的变化。如果在指定的时间间隔内键的变化次数达到设置的数量,Redis 就会创建一个 RDB 快照。这个快照包含当前数据库状态的一个副本并将其写入磁盘,以便于恢复数据。配置多个 save 条目可以根据不同的条件灵活地触发持久化操作。

  • 配置的意义和影响

    • 灵活的持久化策略: 不同时间间隔和键改变数量的配置使得 Redis 能够灵活处理持久化操作。在频繁变化的情况下(如 save 60 10000),它能快速保存数据;而在变化较少的情况下(如 save 900 1),则不会频繁触发持久化,减少性能开销。
    • 数据持久化: 这些配置确保了 Redis 的数据能够定期持久化到磁盘中,以防止数据丢失。
    • 性能权衡: 更频繁的持久化会导致更多的磁盘 I/O,从而影响性能;而较少的持久化则可能在崩溃时导致更多的数据丢失。

五、save VS bgsave

  • save:

    工作机制

    • 同步操作: save 是一个同步操作,阻塞当前 Redis 实例,直到保存过程完成。
    • 数据持久化: 它会生成一个 RDB (Redis Database) 快照文件,将当前的内存数据保存到磁盘。

    优缺点

    • 优点: 操作简单,适合在 Redis 启动期间使用,确保启动时的数据被持久化。
    • 缺点: 由于是同步操作,期间 Redis 将不能处理其他请求,可能导致性能问题,尤其在数据量大时。

    典型使用场景

    • 紧急保存: 在进行数据恢复操作之前确保数据不丢失。
    • 开发和调试: 当需要手动触发保存数据以查看具体状态时。

    示例SAVE

  • bgsave:

    工作机制

    • 异步操作: bgsave 是一个异步操作,Redis 主进程会 fork 一个子进程来执行数据持久化。
    • 数据持久化: 子进程会生成一个 RDB 快照文件,将当前的内存数据保存到磁盘,而主进程继续处理客户端的请求。

    优缺点

    • 优点: 不阻塞 Redis 主进程,允许 Redis 继续处理其他请求,适合在运行时定期保存数据。
    • 缺点: fork 操作在数据量大时可能会占用较多的系统资源,并且对系统内存开销较大。

    典型使用场景

    • 定期备份: 在运行时定期进行数据备份,减少持久化对性能的影响。
    • 大规模应用: 适合需要频繁持久化数据且不希望阻塞请求处理的大规模应用。

    示例BGSAVE

  • 主要区别总结

特性savebgsave
操作模式同步异步
阻塞行为阻塞非阻塞
系统资源较少较多
执行时机手动手动或自动配置
性能影响
1.3 RDB持久化操作

设置key:

写入后查询(证明做了持久化操作):

1.4 RDB优势

适合大规模的数据恢复;

对数据完整性和一致性要求不高更适合使用;

节省磁盘空间;

恢复速度快;

1.5 RDB劣势

Fork 的时候,内存中的数据被克隆了一份,大致2倍的膨胀性需要考虑;

虽然 Redis.在 fork 时使用了写时拷贝技术,但是如果数据庞大时还是比较消耗性能;

在备份周期在一定间隔时间做一次备份,所以如果 Redis 意外 down 掉的话就会丢失最后一次快照后的所有修改;

1.6 RDB做备份

我们在移除前先做一个插入操作,以上操作后重新启动redis,在删除dump文件后,进入复制的文件中查看,这时候就有之前设置的3个key了(save 20 3)这个是备份恢复过程;

2. AOF持久化

  • 概念

    (Append Only File:在redis中的另一种持久化的方式)

    以日志的形式来记录每个写操作(增量保存),将 Redis 执行过的所有写指令记录下来(读操作不记录),只许追加文件但不可以改写文件,redis启动之初会读取该文件重新构建数据,换言之,redis 重启的话就根据日志文件的内容将写指令从前到后执行-次以完成数据的恢复工作;

2.1 AOF开启及使用

开启后就会有默认文件:appendonly yes

使用(在开启完后在redis中set入值,这时候文件的大小发生了变化 )

2.2 异常恢复

修改默认的 appendonly no,改为 yes;

如遇到 AOF文件损坏,通过/usr/local/bin/redis-check-aof--fix appendonly.aof 进行恢复;

作用:备份被写坏的 AOF 文件;

恢复:重启 redis,然后重新加载;

2.3 配置文件操作

1. AOF同步步率设置

appendfsync always:始终同步,每次Redis的写入都会立刻记入日志;虽然性能较差,但数据完整性比较好;

appendfsync everysec:每秒同步,每秒记入日志一次,如果宕机,本秒的数据可能丢失;

appendfsync no:redis不主动进行同步,把同步时机交给操作系统;

2. rewrite压缩

  • rewrite是什么:

    AOF 采用文件追加方式,文件会越来越大为避免出现此种情况,新增了重写机制,当AOF 文件的大小超过所设定的阈值时,Redis 就会启动 AOF 文件的内容压缩 , 只保留可以恢复数据的最小指令集,可以使用命令 bgrewriteaof;

  • 重写原理,如何实现重写:

    AOF 文件持续增长而过大时,会 fork 出一条新进程来将文件重写(也是先写临时文件最后rename),redis4.0 版本后的重写,是指上就是把 rdb 的快照,以二级制的形式附在新的 aof头部,作为已有的历史数据,替换掉原来的流水账操作;

3. no-appendfsync-on-rewrite :AOF 是否继续同步数据到磁盘

在 Redis 中,no-appendfsync-on-rewrite 配置选项,与 AOF(Append Only File)持久化和 RDB(Redis Database)持久化的相互作用相关。这个选项控制了在执行 RDB 快照的同时,AOF 是否继续同步数据到磁盘;

no-appendfsync-on-rewrite 的值为 no 时(默认情况):

  • AOF 重写期间继续 ****fsync: 在进行 RDB 持久化(快照)或 AOF 重写时,Redis 将继续按照 appendfsync 配置进行 fsync 操作,将 AOF 缓冲区中的数据同步到磁盘。
  • 保持 AOF 持久化的完整性: 即使在进行快照或 AOF 重写期间,也不会延迟或暂停 AOF 文件的同步操作,确保 AOF 文件的实时性和数据完整性。

no-appendfsync-on-rewrite 的值为 yes 时:

  • AOF 重写期间暂停 ****fsync: 在进行 RDB 持久化或 AOF 重写时,Redis 会暂停 fsync 操作。这意味着在持久化操作期间,AOF 文件的数据不会实时同步到磁盘。
  • 降低磁盘 I/O 负载: 通过暂停 fsync,可以减轻磁盘 I/O 负载,减少系统压力和潜在的性能影响,适合 I/O 密集型应用或磁盘性能有限的环境。

2.4 AOF持久化流程

(1)客户端的请求写命令会被append追加到 AOF 缓冲区内;

(2)AOF缓冲区根据 AOF持久化策略[always,everysec,no]将操作sync 同步到磁盘的AOF文件中;

(3)AOF文件大小超过重写策略或手动重写时,会对 AOF 文件rewrite 重写,压缩AOF 文件容量;

2.5 优点

备份机制更稳健,丢失数据概率更低;

可读的日志文本,通过操作 AOF文件,可以处理误操作;

2.6 劣势

比起 RDB 占用更多的磁盘空间;

恢复备份速度要慢;

每次读写都同步的话,有一定的性能压力;

存在个别 Bug,造成不能恢复;

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/352388.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【Java开发规范】IDEA 设置 text file encoding 为 UTF-8,且文件的换行符使用 Unix 格式

1. IDEA 设置 text file encoding 为 UTF-8 file -> settings -> editor -> code style -> file encoding Transparent-native-to-asci conversion 要不要勾选?> 不推荐勾选(它的作用是用来自动转换ASCII编码,防止文件乱码&am…

Internet Download Manager(IDM6.41)软件下载-详细安装教程视频

Internet Download Manager有一个智能下载逻辑加速器,具有智能动态文件分割和安全的多部分下载技术,可以加速下载。与其他下载加速器和管理器不同,Internet下载管理器在下载开始之前对文件进行分段,而Internet下载管理器在下载过程…

【教程】DGL单机多卡分布式GCN训练

转载请注明出处:小锋学长生活大爆炸[xfxuezhagn.cn] 如果本文帮助到了你,欢迎[点赞、收藏、关注]哦~ PyTorch中的DDP会将模型复制到每个GPU中。 梯度同步默认使用Ring-AllReduce进行,重叠了通信和计算。 示例代码: 视频&#xff1…

docker-compose启动oracle11、并使用navicat进行连接

一、docker-compose.yml version: 3.9 services:oracle:image: registry.cn-hangzhou.aliyuncs.com/helowin/oracle_11grestart: alwaysprivileged: truecontainer_name: oracle11gvolumes:- ./data:/u01/app/oracleports:- 1521:1521network_mode: "host"logging:d…

Mac下载了docker,在终端使用docker命令时用不了

问题:在mac使用docker的时候,拉取docker镜像失败 原因:docker是需要用app使用的 ,所以在使用的时候必须打开这个桌面端软件才可以在终端上使用docker命令!!!

腾讯云EdgeOne对比普通CDN的分别

EdgeOne架构图 普通CDN架构图 ​​​​​​​ 腾讯云EdgeOne对比普通CDN的不同点 服务范围和集成度 腾讯云EdgeOne是一体化的综合平台,不仅提供内容分发功能,还包括安全防护、性能优化和边缘计算等服务。EdgeOne提供了DDoS防护、WAF(Web应…

通过语言大模型来学习tensorflow框架训练模型(三)

一、模型训练5步骤走 1.数据获取,2,数据处理,3.模型创建与训练,4 模型测试与评估,5.模型预测 二、tensorflow数据获取 在TensorFlow中,数据获取和预处理是构建深度学习模型的重要步骤。TensorFlow提供了多…

C语言王国——数组的旋转(轮转数组)三种解法

目录 一、题目 二、分析 2.1 暴力求解法 2.2 找规律 2.3 追求时间效率,以空间换时间 三、结论 一、题目 给定一个整数数组 nums,将数组中的元素向右轮转 k 个位置,其中 k 是非负数。 示例 1: 输入: nums [1,2,3,4,5,6,7], k 3 输出…

树莓派4B_OpenCv学习笔记6:OpenCv识别已知颜色_运用掩膜

今日继续学习树莓派4B 4G:(Raspberry Pi,简称RPi或RasPi) 本人所用树莓派4B 装载的系统与版本如下: 版本可用命令 (lsb_release -a) 查询: Opencv 版本是4.5.1: 学了这些OpenCv的理论性知识,不进行实践实在…

数据库管理-第205期 换个角度看23ai(20240617)

数据库管理205期 2024-06-17 数据库管理-第205期 换个角度看23ai(20240617)1 规范应用开发2 融合总结 数据库管理-第205期 换个角度看23ai(20240617) 作者:胖头鱼的鱼缸(尹海文) Oracle ACE Pro…

11.5.k8s中pod的调度-cordon,drain,delete

目录 一、概念 二、使用 1.cordon 停止调度 1.1.停止调度 1.2.解除恢复 2.drain 驱逐节点 2.1.驱逐节点 2.2.参数介绍 2.3.解除恢复 3.delete 删除节点 一、概念 cordon节点,drain驱逐节点,delete 节点,在对k8s集群节点执行维护&am…

vivado NODE、PACKAGE_PIN

节点是Xilinx部件上用于路由连接或网络的设备对象。它是一个 WIRE集合,跨越多个瓦片,物理和电气 连接在一起。节点可以连接到单个SITE_, 而是简单地将NETs携带进、携带出或携带穿过站点。节点可以连接到 任何数量的PIP,并且也可以…

Science | 稀土开采威胁马来西亚的生物多样性

马来西亚是一个生物多样性热点地区,拥有超过17万种物种,其中1600多种处于濒临灭绝的风险。马来西亚的热带雨林蕴藏了大部分的生物多样性,并为全球提供重要的生态系统效益,同时为土著社区带来经济和文化价值。同时马来西亚具有可观…

04 远程访问及控制

1、SSH远程管理 SSH是一种安全通道协议,主要用来实现字符界面的远程登录、远程复制等功能。 SSH协议对通信双方的数据传输进行了加密处理(包括用户登陆时输入得用户口令)。 终端:接收用户的指令 TTY终端不能远程,它…

Python界面编辑器Tkinter布局助手 使用体验

一、发现 我今天在网上搜关于Python Tkinter方面的信息时,发现了Python界面编辑器 Tkinter布局助手 的使用说明。 https://blog.csdn.net/weixin_52777652/article/details/135291731?spm1001.2014.3001.5506 这个编辑器是个开源的项目,个人用户可以…

大模型KV Cache节省神器MLA学习笔记(包含推理时的矩阵吸收分析)

首先,本文回顾了MHA的计算方式以及KV Cache的原理,然后深入到了DeepSeek V2的MLA的原理介绍,同时对MLA节省的KV Cache比例做了详细的计算解读。接着,带着对原理的理解理清了HuggingFace MLA的全部实现,每行代码都去对应…

从中概回购潮,看互联网的未来

王兴的饭否语录里有这样一句话:“对未来越有信心,对现在越有耐心。” 而如今的美团,已经不再掩饰对未来的坚定信心。6月11日,美团在港交所公告,计划回购不超过20亿美元的B类普通股股份。 而自从港股一季度财报季结束…

【吉林大学Java程序设计】第9章:并发控制

第9章:并发控制 1.线程的基本概念2.线程的创建与启动3.线程的调度与优先级线程的状态线程的生命周期线程控制的基本方法线程优先级 4.线程的协作多线程存在的问题同步区域(临界区)生产者与消费者问题(互斥与同步问题)哲…

线程池吞掉异常的case:源码阅读与解决方法

1. 问题背景 有一天给同事CR,看到一段这样的代码 try {for (param : params) {//并发处理,func无返回值ThreadPool.submit(func(param));} } catch (Exception e) {log.info("func抛异常啦,参数是:{}", param) } 我:你这段代码是…

【数据结构与算法 刷题系列】求带环链表的入环节点(图文详解)

💓 博客主页:倔强的石头的CSDN主页 📝Gitee主页:倔强的石头的gitee主页 ⏩ 文章专栏:《数据结构与算法 经典例题》C语言 期待您的关注 ​ 目录 一、问题描述 二、解题思路 方法一:数学公式推导法 方法…