Redis(三)持久化

文章目录

  • RDB(Redis Database)
    • 自动触发
      • 保存频率
      • 修改dump文件保存路径
      • 修改文件保存名称
      • dump恢复
    • 手动触发
      • save![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/a56fdff44aee4efa96c2ce3615b69dc1.png)
      • bgsave
    • 优劣
      • 优点
      • 缺点
    • 检查修复dump文件
      • 会触发RDB快照的情况
    • 禁用快照
    • Redis优化配置项
    • 总结
  • AOF(Append Only File)
    • 保存文件类型
    • AOF持久化工作流程
    • 缓冲区回写频率
    • AOF配置/启动/修复/恢复
      • 配置文件说明
      • 正常恢复
      • 异常恢复
    • 优势
    • 劣势
    • AOF重写机制
  • AOF+RDB混合
    • 数据恢复加载流程
  • 纯缓存模式

RDB(Redis Database)

在指定的时间间隔,执行数据集时间点快照

自动触发

RDB(Redis 数据库):RDB 持久性以指定的时间间隔执行数据集的时间点快照

指定的时间间隔内将内存中的数据集写入磁盘,恢复时直接从磁盘中读回到内存中

  • Snapshot内存快照保存备份时全量快照
  • RDB保存的是dump.rdb文件

保存频率

Redis7和6.0有较大区别
Redis6.0.16 redis.conf
在这里插入图片描述
Redis7.0 redis.conf

在这里插入图片描述

修改dump文件保存路径

在这里插入图片描述

修改文件保存名称

在这里插入图片描述

dump恢复

  • 备份文件(dump.rdb)移动到 redis 安装目录并启动服务即可
  • 使用 flushdb / flushall 同样会产生dump文件但是是空的
  • 物理恢复:必须服务和备份分机分离。(不可以把备份文件dump.rdb和生产redis服务器放在同一台机器,必须分开各自存储)
    以防生产机物理损坏后备份文件也挂了。

手动触发

Redis提供两个命令save、bgsave

生产上只能用bgsave:save执行过程中会阻塞当前Redis Server 直到持久化工作完成,Redis 不能处理其他命令,线上禁止使用

save在这里插入图片描述

bgsave

Redis会在后台异步进行快照操作,不阻塞快照同时还可以响应客户端请求,该触发方式会fork一个子进程由子进程复制持久化过程

  • fork: github中的fork;操作系统:在Linux程序中,fork()会产生一个和父进程完全相同的子进程,但子进程在此后多会exec系统调用,出于效率考虑,尽量避免膨胀。
  • lastsave命令可获得最后一次执行快照时间

优劣

优点

  1. 适合大规模数据恢复
  2. 按照业务定时备份
  3. 对数据完整性和一致性要求不高
  4. RDB文件在内存中的加载速度比AOF快得多
    在这里插入图片描述

缺点

  1. 在一定间隔时间做一次备份,所以如果redis意外down掉的话,就会丢失从当前至最近一次快照期间的数据,快照之间的数据会丢失
  2. 内存数据全量同步,如果数据量太大会导致 I/O 严重影响服务器性能
  3. RDB依赖主进程fork,在更大的数据集中,可能导致服务器请求的瞬时延迟,fork的时候内存中的数据被克隆,大约导致两倍膨胀

数据丢失案例:

  • 使用kill -9模拟意外down
  • Redis重启恢复查看数据是否丢失

检查修复dump文件

redis-check-rdb dump6379.rdb

会触发RDB快照的情况

  1. 配置文件中默认的快照配置
  2. 手动 save / bgsave 命令
  3. 执行 flushdb / flushall 命令,但里面是空的
  4. 执行shutdown且没有设置开启AOF持久化
  5. 主从复制,主节点自动触发

禁用快照

动态停止

redis-cli config set save ""

快照禁用
redis.conf
在这里插入图片描述

Redis优化配置项

redis.conf
配置文件Snapshotting模块

  1. save
  2. dbfilename
  3. dir
  4. stop-writes-on-bgsave-error
stop-writes-on-bgsave-error yes
# 默认yes
# 如果配置成no,表示你不在乎数据不一致或者有其他的手段发现和控制这种不一致,那么在快照写入失败时,
# 也能确保redis继续接受新的写请求
  1. rdbcompression
rdbcompression yes
# 默认yes对于存储到磁盘中的快照,可以设置是否进行压缩存储。如果是的话,redis会采用LZF算法进行压缩。
# 如果你不想消耗CPU来进行压缩的话,可以设置为关闭此功能
  1. rdbchecksum
rdbchecksum yes
# 在存储快照后,还可以让redis使用CRC64算法来进行数据校验,但是这样做会增加大约10%的性能消耗
# 如果希望获取到最大的性能提升,可以关闭此功能
  1. rdb-del-sync-files
rdb-del-sync-files no
# rdb-del-sync-files:在没有持久性的情况下删除复制中使用的RDB文件启用。
# 默认情况下no,此选项是禁用的。

总结

在这里插入图片描述

AOF(Append Only File)

以日志的形式来记录每个写操作,将Redis执行过的所有写指令记录下来(读操作不记录),只许追加文件但不可以改写文件,redis启动之初会读取该文件重新构建数据,换言之,redis重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作
默认情况下,redis是没有开启AOF(append only file)的。
开启AOF功能需要设置配置:appendonly yes​

保存文件类型

appendonly.aof文件

AOF持久化工作流程

在这里插入图片描述

序号解释
1Client作为命令的来源,会有多个源头以及源源不断的请求命令。
2在这些命令到达Redis Server 以后并不是直接写入AOF文件,会将其这些命令先放入AOF缓存中进行保存。这里的AOF缓冲区实际上是内存中的一片区域,存在的目的是当这些命令达到一定量以后再写入磁盘,避免频繁的磁盘IO操作。
4随着写入AOF内容的增加为避免文件膨胀,会根据规则进行命令的合并(又称AOF重写),从而起到AOF文件压缩的目的。
5当Redis Server 服务器重启的时候会从AOF文件载入数据。

缓冲区回写频率

redis.conf
在这里插入图片描述

回写策略:

  1. Always
  2. everysec
  3. no
    在这里插入图片描述

AOF配置/启动/修复/恢复

配置文件说明

开启AOF
在这里插入图片描述
配置回写策略
默认每秒
文件保存路径
redis7
在这里插入图片描述
保存文件名称
在这里插入图片描述

在这里插入图片描述

正常恢复

配置
设置yes修改默认appendonly,改为yes
启动
重新启动

异常恢复

异常备份,例如网络波动,异常宕机

redis-check-aof --fix

优势

在这里插入图片描述

劣势

在这里插入图片描述

AOF重写机制

启动AOF文件的内容压缩,只保留可以恢复的最小指令集,自动触发和手动触发

默认配置
在这里插入图片描述
注意 ,同时满足,且的关系才会触发
1 根据上次重写后的aof大小,判断当前aof大小是不是增长了1倍
2 重写时满足的文件大小
总结
在这里插入图片描述
重写原理
1:在重写开始前,redis会创建一个“重写子进程”,这个子进程会读取现有的AOF文件,并将其包含的指令进行分析压缩并写入到一个临时文件中。
2:与此同时,主进程会将新接收到的写指令一边累积到内存缓冲区中,一边继续写入到原有的AOF文件中,这样做是保证原有的AOF文件的可用性,避免在重写过程中出现意外。
3:当“重写子进程”完成重写工作后,它会给父进程发一个信号,父进程收到信号后就会将内存中缓存的写指令追加到新AOF文件中
4:当追加结束后,redis就会用新AOF文件来代替旧AOF文件,之后再有新的写指令,就都会追加到新的AOF文件中
5:重写aof文件的操作,并没有读取旧的aof文件,而是将整个内存中的数据库内容用命令的方式重写了一个新的aof文件,这点和快照有点类似

小总结
在这里插入图片描述

AOF+RDB混合

官方建议
在这里插入图片描述

数据恢复加载流程

  • RDB持久化方式能够在指定的时间间隔能对你的数据进行快照存储
  • AOF持久化方式记录每次对服务器写的操作,当服务器重启的时候会重新执行这些命令来恢复原始的数据,AOF命令以redis协议追加保存每次写的操作到文件未尾。
    在这里插入图片描述
  • 在这种情况下,当redis重启的时候会优先载入AOF文件来恢复原始的数据,因为在通常情况下AOF文件保存的数据集要比RDB文件保存的数据集要完整
  • RDB的数据不实时,同时使用两者时服务器重启也只会找AOF文件。不建议只使用AOF,因为RDB更适合用于备份数据库(AOF在不断变化不好备份),留着rdb作为一个万一的手段。

推荐方式RDB和AOF混合
结合了RDB和AOF的优点,既能快速加载又能避免丢失过多的数据

  1. 开启混合方式设置
设置aof-use-rdb-preamble的值为 yes   yes表示开启,设置为no表示禁用
  1. RDB+AOF的混合方式---------> 结论:RDB镜像做全量持久化,AOF做增量持久化

先使用RDB进行快照存储,然后使用AOF持久化记录所有的写操作,当重写策略满足或手动触发重写的时候,将最新的数据存储为新的RDB记录。这样的话,重启服务的时候会从RDB和AOF两部分恢复数据,既保证了数据完整性,又提高了恢复数据的性能。简单来说:混合持久化方式产生的文件一部分是RDB格式,一部分是AOF格式。----》AOF包括了RDB头部+AOF混写
在这里插入图片描述

纯缓存模式

同时关闭RDB和AOF

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/233941.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

25 心形按钮

效果演示 实现了一个心形的心形图案&#xff0c;当用户点击图案时&#xff0c;图案会旋转并缩小&#xff0c;同时背景颜色会变成白色。 Code <div class"love"><input id"switch" type"checkbox"><label class"love-heart&…

Pytorch种torch.cat与torch.stack的区别

torch.cat 和 torch.stack 是 PyTorch 中用于拼接张量的两个不同的函数&#xff0c;它们的主要区别在于拼接的方式和创建的维度。 torch.cat&#xff1a; 拼接方式&#xff1a; torch.cat 是按照给定的维度&#xff08;dim 参数&#xff09;将多个张量沿着该维度拼接。在拼接的…

Django Web框架

1、创建PyCharm项目 2、安装框架 pip install django4.2.0 3、查看安装的包列表 4、使用命令创建django项目 django-admin startproject web 5、目录结构 6、运行 cd web python manage.py runserver7、初始化后台登录的用户名密码 执行数据库迁移生成数据表 python man…

代码随想录刷题题Day29

刷题的第二十九天&#xff0c;希望自己能够不断坚持下去&#xff0c;迎来蜕变。&#x1f600;&#x1f600;&#x1f600; 刷题语言&#xff1a;C Day29 任务 ● 01背包问题&#xff0c;你该了解这些&#xff01; ● 01背包问题&#xff0c;你该了解这些&#xff01; 滚动数组 …

自动驾驶轨迹预测

目录 神经网络轨迹预测综述&#xff1a; 比较新的轨迹预测网络 Uber&#xff1a;LaneRCNN[5] Google&#xff1a;VectorNet[6] Huawei&#xff1a;HOME[7] Waymo&#xff1a;TNT[8] Aptive&#xff1a;Covernet[9] NEC&#xff1a;R2P2[10] 商汤&#xff1a;TPNet[11]…

【还不了解 Dockerfile 的同学不是好测试人】

近年来 Docker 非常火&#xff0c;想要玩好 Docker 的话 Dockerfile 是绕不开的&#xff0c;这就好比想要玩好 Linux 服务器绕不开 shell 道理是一样的。 今天我们就来聊一聊 Dockerfile 怎么写&#xff0c;那些指令到底是什么意思。 前言 一、先来看一个简单的 Dockerfile #这…

【EAI 005】EmbodiedGPT:通过具身思维链进行视觉语言预训练的具身智能大模型

论文描述&#xff1a;EmbodiedGPT: Vision-Language Pre-Training via Embodied Chain of Thought 论文作者&#xff1a;Yao Mu, Qinglong Zhang, Mengkang Hu, Wenhai Wang, Mingyu Ding, Jun Jin, Bin Wang, Jifeng Dai, Yu Qiao, Ping Luo 作者单位&#xff1a;The Universi…

Lumerical Monitors------ Global properties

Lumerical Monitors------ Global properties Global properties 全局属性 Global properties 全局属性 在 Lumerical 中&#xff0c;这里以 FDTD 工程文件举例&#xff0c;所有的 monitors 都可以通过上方选项卡中的 monitor 标签页添加。 注意上面有一个 Global properties…

R语言(12):绘图

12.1 创建图形 12.1.1 plot函数 plot(c(1,2,3),c(1,2,4)) plot(c(1,2,3),c(1,2,4),"b") plot(c(-3,3),c(-1,5),"n",xlab "x",ylab "y")12.1.2 添加线条&#xff1a;abline()函数 x <- c(1,2,3) y <- c(1,3,8) plot(x,y) lm…

【PostgreSQL】在DBeaver中实现序列、函数、视图、触发器设计

【PostgreSQL】在DBeaver中实现序列、函数、触发器、视图设计 基本配置一、序列1.1、序列使用1.1.1、设置字段为主键&#xff0c;数据类型默认整型1.1.2、自定义序列&#xff0c;数据类型自定义 1.2、序列延申1.2.1、理论1.2.2、测试1.2.3、小结 二、函数2.1、SQL直接创建2.1.1…

【redis】Redis中的字典类型:数据结构与使用方法

文章目录 Redis中的字典类型&#xff1a;数据结构与使用方法简介如何提高哈希表性能如何使用 Redis中的字典类型&#xff1a;数据结构与使用方法 简介 Redis中的字典类型的底层实现是哈希表&#xff08;Hash Table&#xff09;。 Redis的字典使用哈希表作为底层实现&#xf…

目标检测再升级!YOLOv8模型训练和部署

YOLOv8 是 Ultralytics 开发的 YOLO&#xff08;You Only Look Once&#xff09;物体检测和图像分割模型的最新版本。YOLOv8是一种尖端的、最先进的SOTA模型&#xff0c;它建立在先前YOLO成功基础上&#xff0c;并引入了新功能和改进&#xff0c;以进一步提升性能和灵活性。它可…

【conda】conda 版本控制和环境迁移/安装conda加速工具mamba /conda常用指令/Anaconda配置

【conda】安装conda加速工具mamba /conda常用指令/Anaconda配置 0. conda 版本控制和环境迁移1. 安装conda加速工具mamba2. conda install version3. [Anaconda 镜像](https://mirrors.tuna.tsinghua.edu.cn/help/anaconda/)使用帮助4. error deal 0. conda 版本控制和环境迁移…

福建科立讯通信 指挥调度管理平台 多处文件上传漏洞复现

0x01 产品简介 福建科立讯通信指挥调度管理平台是一个专门针对通信行业的管理平台。该产品旨在提供高效的指挥调度和管理解决方案,以帮助通信运营商或相关机构实现更好的运营效率和服务质量。该平台提供强大的指挥调度功能,可以实时监控和管理通信网络设备、维护人员和工作任…

使用开源通义千问模型(Qwen)搭建自己的大模型服务

目标 1、使用开源的大模型服务搭建属于自己的模型服务&#xff1b; 2、调优自己的大模型&#xff1b; 选型 采用通义千问模型&#xff0c;https://github.com/QwenLM/Qwen 步骤 1、下载模型文件 开源模型库&#xff1a;https://www.modelscope.cn/models mkdir -p /data/…

【MATLAB】ICEEMDAN_LSTM神经网络时序预测算法

有意向获取代码&#xff0c;请转文末观看代码获取方式~也可转原文链接获取~ 1 基本定义 ICEEMDAN-LSTM神经网络时序预测算法是一种结合了改进的完全扩展经验模态分解&#xff08;ICEEMDAN&#xff09;和长短期记忆神经网络&#xff08;LSTM&#xff09;的时间序列预测方法。 …

运动耳机怎么选?2024年运动耳机推荐,运动蓝牙耳机排行榜10强

​在现代生活中&#xff0c;音乐和运动已经成为很多人生活不可分割的一部分。运动耳机在这样的背景下变得越来越受欢迎&#xff0c;它们不仅可以在运动时提供音乐的陪伴&#xff0c;还能增加运动时的乐趣和动力。但是&#xff0c;面对市面上众多不同类型的运动耳机&#xff0c;…

springboot集成cas客户端

Background 单点登录SSO(Single Sign ON)&#xff0c;指在多个应用系统中&#xff0c;只需登录一次&#xff0c;即可在多个应用系统之间共享登录。统一身份认证CAS&#xff08;Central Authentication Service&#xff09;是SSO的开源实现&#xff0c;利用CAS实现SSO可以很大程…

TikTok时代的社交红利:用户生成内容的崛起

TikTok&#xff0c;这款短视频平台在全球范围内掀起了一场社交媒体的新浪潮。在这个数字化的时代&#xff0c;用户生成内容成为了社交平台的核心&#xff0c;而TikTok正是在这一潮流中崭露头角。本文将深入探讨TikTok时代的社交红利&#xff0c;聚焦用户生成内容的崛起&#xf…

服务器运行状况监控工具

服务器运行状况监视提供了每个服务器状态和性能的广泛概述&#xff0c;通过监控服务器指标&#xff0c;如 CPU 使用率、内存消耗、I/O、磁盘使用率、进程等&#xff0c;服务器运行状况监控可以避免服务器停机。 服务器性能监控指标 服务器是网络中最重要的组件之一&#xff0…