解决 Redis 后台持久化失败的问题:内存不足导致 fork 失败

文章目录

  • 解决 Redis 后台持久化失败的问题:内存不足导致 fork 失败
  • 问题背景与成因
  • 解决方案
    • 修改内核参数 vm.overcommit_memory
    • 增加系统内存或 Swap 空间
    • 调整 Redis 配置 stop-writes-on-bgsave-error
  • 在 Docker 环境中的注意事项
  • 总结


解决 Redis 后台持久化失败的问题:内存不足导致 fork 失败

在生产环境中,有时你可能会在 Redis 日志中看到类似如下的错误信息:

WARNING overcommit_memory is set to 0! Background save may fail under low memory condition.
To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' for this to take effect.

本文将详细介绍该问题的原因以及如何通过调整内核和 Redis 配置来解决此问题。


问题背景与成因

Redis 作为一个内存数据库,在执行后台持久化(例如 BGSAVE 命令时)需要 fork 一个子进程来生成数据库快照(RDB 文件)。在 fork 过程中,操作系统需要为子进程分配与父进程相同大小的内存空间,尽管实际使用了 copy-on-write 技术,但操作系统依然会预留相应的虚拟内存空间。

当内核参数 vm.overcommit_memory 设置为 0(默认值)时,系统会在 fork 前检查是否有足够的物理内存和 swap 空间可用。如果可用内存不足,即使当前看起来内存空闲量还不错,fork 操作也可能会失败,从而导致 RDB 快照生成失败,Redis 会报出上述警告信息,甚至在持久化失败后停止接受写入,存在数据丢失风险 citeturn0search1.


解决方案

针对这个问题,我们主要有以下几种解决办法:

修改内核参数 vm.overcommit_memory

通过将 vm.overcommit_memory 设置为 1,可以让 Linux 内核在执行 fork 时更乐观地分配内存,即使当前物理内存不足也允许 fork 成功。
操作步骤如下:

  • 临时修改(重启后失效):

    echo 1 > /proc/sys/vm/overcommit_memory
    
  • 永久修改
    编辑 /etc/sysctl.conf 文件,添加或修改如下行:

    vm.overcommit_memory = 1
    

    保存后,运行以下命令使配置生效:

    sysctl -p
    

这种方法适用于所有运行在该主机上的 Redis 实例(注意:在 Docker 环境下,vm.overcommit_memory 是宿主机级别的设置 citeturn0search9)。

增加系统内存或 Swap 空间

如果你的服务器物理内存不足,也可以考虑增加物理内存或配置更大的 Swap 区域,从而在 fork 时能提供足够的虚拟内存。这种方法能够在硬件上根本上解决问题,但可能会增加系统成本。

调整 Redis 配置 stop-writes-on-bgsave-error

Redis 默认配置 stop-writes-on-bgsave-error 为 yes,也就是当后台持久化(BGSAVE)失败时,Redis 会拒绝处理修改命令,防止数据不一致。
如果你有完善的监控系统,可以选择暂时将此参数设置为 no,让 Redis 即使在持久化失败时也继续工作,不过这会增加数据丢失的风险。

修改方法(在 redis.conf 中配置):

stop-writes-on-bgsave-error no

提示: 此方法仅作为临时应急方案,最好在确保内存配置正确后使用。


在 Docker 环境中的注意事项

如果你的 Redis 部署在 Docker 容器中,需要注意:

  • vm.overcommit_memory 是内核级别的参数,不能只针对单个容器进行设置,必须在宿主机上调整。
  • 对于容器化环境下的内存管理,还要做好容器资源的限制和监控,确保 Redis 在高负载下依然稳定运行。

总结

Redis 后台持久化失败通常是由于 fork 子进程时内存不足引起的。为了解决这一问题,推荐:

  • 修改内核参数 vm.overcommit_memory 设置为 1,以便系统允许过度分配内存;
  • 根据需求增加物理内存或 Swap 空间;
  • 如有必要,可调整 stop-writes-on-bgsave-error 参数以确保服务不中断,但需权衡数据安全风险。

通过以上措施,可以有效降低 Redis 因内存不足导致持久化失败的风险,保障数据的安全性和系统的稳定运行。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/34918.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

MySQL 8 设置允许远程连接(Windows环境)

🌟 MySQL 8 设置允许远程连接(Windows环境) 在开发和部署应用时,经常需要从远程主机连接到MySQL数据库。默认情况下,MySQL仅允许本地连接,因此需要进行一些配置才能允许远程访问。今天,我将详细…

Prosys OPC UA Gateway:实现 OPC Classic 与 OPC UA 无缝连接

在工业自动化的数字化转型中,设备与系统之间的高效通信至关重要。然而,许多企业仍依赖于基于 COM/DCOM 技术的 OPC 产品,这给与现代化的 OPC UA 架构的集成带来了挑战。 Prosys OPC UA Gateway 正是为解决这一问题而生,它作为一款…

欢乐力扣:基本计算器

文章目录 1、题目描述2、思路代码括号 1、题目描述 基本计算器。  给你一个字符串表达式 s ,请你实现一个基本计算器来计算并返回它的值。  注意:不允许使用任何将字符串作为数学表达式计算的内置函数,比如 eval() 。 2、思路 本人也不太会&#xff0c…

SVN学习笔记

svn:版本控制软件 解决:1.协作开发 2.远程开发 3.版本回退 服务端软件: VisualSVN http://www.visualsvn.com 客户端软件:Tortoisesvn http://tortoisesvn.net/downloads 1.checkout(检出) 第一查更新数据到本地, 2.update&#xf…

Mysql表的查询

一:创建一个新的数据库(companydb),并查看数据库。 二:使用该数据库,并创建表worker。 mysql> use companydb;mysql> CREATE TABLE worker(-> 部门号 INT(11) NOT NULL,-> 职工号 INT(11) NOT NULL,-> 工作时间 D…

[ISP] 人眼中的颜色

相机是如何记录颜色的,又是如何被显示器还原的? 相机通过记录RGB数值然后显示器显示RGB数值来实现颜色的记录和呈现。道理是这么个道理,但实际上各厂家生产的相机对光的响应各不相同,并且不同厂家显示器对三原色的显示也天差地别&…

Cursor插件市场打不开解决

问题现象: cursor搜索插件的时候提示错误,无法搜索安装插件 error while fetching extensions.failed to fetch 问题原因 cursor默认安装使用的并不是vs code的插件市场,国内网络有时候打不开 解决 修改插件市场地址并重启cursor 打开cur…

R 语言科研绘图 --- 密度图-汇总

在发表科研论文的过程中,科研绘图是必不可少的,一张好看的图形会是文章很大的加分项。 为了便于使用,本系列文章介绍的所有绘图都已收录到了 sciRplot 项目中,获取方式: R 语言科研绘图模板 --- sciRplothttps://mp.…

安卓屏保调试

安卓屏保调试 - Wesley’s Blog 先看一下在设置点击屏保预览后的调用链(Android 14) #mermaid-svg-YQ66ef7zSvNutCCW {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-YQ66ef7zSvNutCCW .erro…

考研系列-408真题计算机网络篇(18-23)

写在前面 此文章是本人在备考过程中408真题计算机网络部分(2018年-2023年)的易错题及相应的知识点整理,后期复习也常常用到,对于知识提炼归纳理解起到了很大的作用,分享出来希望帮助到大家~ # 2018 1.停止-等待协议的…

堆排序:力扣215.数组中的第K个大元素

一、问题描述 在一个整数数组 nums 中,需要找出第 k 个最大的元素。这里要注意,我们要找的是数组排序后的第 k 个最大元素,而不是第 k 个不同的元素。例如,对于数组 [3,2,1,5,6,4],当 k 2 时,第 2 个最大…

Qt-ZMQ的使用补充(pub-sub)

之前写过一篇Qt使用ZMQ的博客Qt网络编程-ZMQ的使用,本文是其的补充部分。 Linux上编译使用 首先这次实在Linux上进行演示,下载zmq源码,安装cmake,使用cmake进行编译。下载之后解压: 输入命令: cd ..mkdi…

一款基于Python的从常规文档里提取图片的简单工具开发方案

一款基于Python的从常规文档里提取图片的简单工具开发方案 1. 环境准备 安装必需库 pip install python-docx PyMuPDF openpyxl beautifulsoup4 pillow pip install pdfplumber # PDF解析备用方案 pip install tk # Python自带,无需安装工具选择 开发环…

日志存储与分析

日志是系统运行的详细记录,包含各种事件发生的主体、时间、位置、内容等关键信息。出于运维可观测、网络安全监控及业务分析等多重需求,企业通常需要将分散的日志采集起来,进行集中存储、查询和分析,以进一步从日志数据里挖掘出有…

cyberstrikelab lab2

lab2 重生之我是渗透测试工程师,被公司派遣去测试某网络的安全性。你的目标是成功获取所有服务器的权限,以评估网络安全状况。 先扫一下 ​ ​ 192.168.10.10 ​ ​ 骑士cms 先找后台路径 http://192.168.10.10:808/index.php?madmin&cind…

1.5.2 掌握Scala内建控制结构 - 块表达式

Scala的块表达式使用{}包裹语句组,单行语句不加分号,多语句用分号隔开。块表达式的结果是最后一行语句的值,无需单独写return。若无执行结果,则返回Unit对象(类似Java的void)。例如,有返回值时&…

VSCode + CMake

参考文献: 如何用 GCC, CMake 和 Make 编译C/C代码Windows 上的 Linux 子系统:WSLWSL:桌面 UI 远程连接 RDP 配置 VScode 文章目录 CMake 配置VSCode 配置launch.jsontask.jsonc_cpp_properties.json CMake 配置 编写如下的 CmakeLists.t…

【软考-架构】7、系统配置与性能评价

✨资料&文章更新✨ GitHub地址:https://github.com/tyronczt/system_architect 文章目录 性能指标💯考试真题第一题第二题 性能评价方法💯考试真题第一题第二题 阿姆达尔解决方法考试真题 性能指标 对计算机评价的主要性能指标有&#x…

STC89C52单片机学习——第20节: [8-2]串口向电脑发送数据电脑通过串口控制LED

写这个文章是用来学习的,记录一下我的学习过程。希望我能一直坚持下去,我只是一个小白,只是想好好学习,我知道这会很难,但我还是想去做! 本文写于:2025.03.15 51单片机学习——第20节: [8-2]串口向电脑发送数据&电脑通过串口控制LED 前言…

java简单基础学习

目录 简单5位验证码快捷键的使用 评委打分5个评委 去掉一个最高分和一个最低分 取平均分 抢红包出现数组越界java​编辑 双色球系统--之蒟蒻学习 简单5位验证码快捷键的使用 题目意思做个验证码 //生成一个5位数的验证码 //前四位是字母,大小字母都可以 //最后一位要是数字…