浅析 Redis 分片集群 Cluster 原理、手动搭建、动态伸缩集群、故障转移

大家好，我是此林。

之前的文章中分享了 Redis 集群方案的一种：主从集群+哨兵机制

浅谈 Redis 主从集群原理（一）-CSDN博客

浅谈 Redis 主从复制原理（二）-CSDN博客

这种模式有什么缺点呢？

1. 虽然从节点有多个，提高了读的性能。但主节点只有一个，写的性能无法提高。

2. 要存储大量的数据，就要保证 master 内存容量大。但是 master 内存容量大了以后，fork 生成 RDB 文件的时间就会边长，RDB 文件也会变得很大，导致了下面的问题。

  • RDB 文件网络传输开销大
  • master 和 slave 第一次做全量同步，耗时长
  • 若 master 宕机，新 master 会和 slave 重新全量同步，开销大

所以，要解决上面的问题，实现存储海量的数据，就引入了新的集群方案：分片集群（Cluster）。

1. 分片集群概述

可以发现，分片集群有以下特征：

1. 集群中有多个master，每个master保存不同数据

2. 每个master都可以有多个slave节点

3. master之间通过心跳机制监测彼此健康状态

4. 客户端请求可以访问集群任意节点，最终都会被路由转发到正确节点

可以发现，Cluster 集群里面没有了哨兵机制，而是不同 master 之间通过心跳机制互相检测彼此的健康状态，如果发现有 master 宕机，会和哨兵一样重新选 master ，进行故障转移。

2. 分片集群搭建

这里我们部署6个节点，一主一从。

节点IP端口
master192.168.183.1287001
master192.168.183.1287002
master192.168.183.1287003
slave192.168.183.1288001
slave192.168.183.1288002
slave192.168.183.1288003

1. 创建目录

cd /root/redis-cluster/mkdir 7001 7002 7003 8001 8002 8003ll

2. 在当前目录下创建 redis.conf

port 6379
# 开启集群功能
cluster-enabled yes
# 集群的配置文件名称，不需要我们创建，由redis自己维护
cluster-config-file  /root/redis-cluster/6379/nodes.conf
# 节点心跳失败的超时时间
cluster-node-timeout 5000
# 持久化文件存放目录
dir /root/redis-cluster/6379
# 绑定地址
bind 0.0.0.0
# 让redis后台运行
daemonize yes
# 注册的实例ip（可以多个）
replica-announce-ip 192.168.183.128
# 保护模式
protected-mode no
# 数据库数量
databases 1
# 日志
logfile /root/redis-cluster/6379/run.log
# requirepass 123123

 3. 每个节点都需要配置 redis.conf，以下命令把 redis.conf 批量复制到对应目录。

echo 7001 7002 7003 8001 8002 8003 | xargs -t -n 1 cp redis.conf

4. 批量修改，把6379替换成对应的端口。

printf '%s\n' 7001 7002 7003 8001 8002 8003 | xargs -I{} -t sed -i 's/6379/{}/g' {}/redis.conf

5. 然后批量启动 Cluster 集群。也可以使用 通过 redis-server + redis.conf文件路径分别启动。

printf '%s\n' 7001 7002 7003 8001 8002 8003 | xargs -I{} -t redis-server {}/redis.conf

查看 redis 相关进程。 

ps -ef | grep redis

6. 批量关闭，关闭 Cluster 集群。 

printf '%s\n' 7001 7002 7003 8001 8002 8003 | xargs -I{} -t redis-cli -p {} shutdown

虽然服务启动了，但是目前每个服务之间都是独立的，没有任何关联。

所以还需要下面的命令：

redis-cli --cluster create \--cluster-replicas 1 \192.168.183.128:7001 192.168.183.128:7002 192.168.183.128:7003 \192.168.183.128:8001 192.168.183.128:8002 192.168.183.128:8003

--cluster-replicas 1 代表每个 master 有1个从节点。

那么列个方程，假设 master 有 x 个，那么 slave 就有 x 个，x + x = 6，x = 3。

那么计算出来，master 3 个，slave 3个。

前三个 IP+端口 就是 master，后 3 个就是 slave。

3. 散列插槽

Cluster 集群启动后，可以发现每一个 master 节点都被映射到了0-16383共16384个插槽上（hash slot）上。

那为什么要有散列插槽呢？

Redis 在存一个 <key, value> 的时候，会通过 CRC16 哈希算法对 key 进行运算，得到一个 hash 值，然后对 16384 取余，得到结果就是 slot 值，以此来 决定这个 <key, value> 落到哪一个 master 上。

注：如果 key 是 num，那就根据 num 计算 hash，如果 key 是 {iphone}num，那么就根据 phone 计算 hash。

也就是说，如果将来我们希望某些 key 落到同一个 master 上，可以在 set key 的时候，加上 {}，这样 redis 就会根据花括号里的内容计算 hash 值，从而落到同一个节点上。

重定向举例：

4. 集群动态伸缩

Cluster 集群有个重要的特点，就是集群能够动态增加或删除节点。

案例：

向集群添加一个新的 master 节点，并向其中存储 num = 10

需求：

1. 启动一个新的 redis 实例，端口为 7004

2. 添加 7004 到 Cluster 集群，并且作为一个 master

3. 给 7004 分配插槽，使得 num 这个 key 可以存储到 7004

1. 同样的，创建目录，复制修改配置文件。 

mkdir 7004
cp redis.conf 7004
sed -i s/6379/7004/g 7004/redis.conf

2. 启动 redis 服务。 

redis-server 7004/redis.conf

3. 把 7004 添加到 Cluster 集群。 

redis-cli --cluster add-node 192.168.183.128:7004 192.168.183.128:7001

4. 查看 Cluster 集群信息。

redis-cli -c -h 192.168.183.128 -p 7001 cluster nodes

可以看到，目前 7004 还没有分配哈希槽（hash slot）。 

5. 给  7004 结点分配插槽

redis-cli --cluster reshard 192.168.183.128:7001

6. 查看 Cluster 集群信息。

redis-cli -p 7001 cluster nodes

 分配成功！

7. 测试，num 已经落到了 7004 节点上。

8. 删除 7004 节点，先 reshard hash slot。

9. 再次查看节点信息，发现 7004 没有 hash slot 了，且已经成为了 7001 的 slave。

10. forget 删除 7004 节点，后面的 id 写 7004 的 id 就行。

redis-cli -c -h 192.168.183.128 -p 7001 cluster forget d8ec7fc70c782114d6db60eb11863ad7a24801b8

5. 故障转移

当一个集群中一个 master 宕机了会发生什么？

  • 与其他实例失去连接：当一个 master 节点宕机时，它和其他节点的连接会中断，集群中的节点会检测到该节点不可用。

  • 其他 master 监测到该节点宕机（疑似宕机）：由于 Redis Cluster 本身是去中心化的，不同于哨兵机制，集群内的其他节点会通过 Gossip 协议（节点之间相互通知）来交换信息，检测到宕机的节点，但这并不会立刻导致故障转移。

  • 最后确定下线，选举一个 slave 成为 master：如果集群中的节点确认该 master 节点宕机（通过 QUORUM 达成共识），集群会通过故障转移机制，将该节点的 slave 之一提升为新的 master。在 Redis Cluster 中，只有当 slave 存在且健康时，才会进行主从切换。

注：如果一个 master 节点宕机，但没有足够的 slave 节点（或者没有足够的健康 slave），那么该槽的服务将暂时不可用，直到新的 master 被选举出来。

所以，整体来说，Cluster 的容错机制确实也与哨兵机制类似，但集群是去中心化的，节点之间的自动故障转移是通过 Gossip 协议和共识机制来实现的。

手动故障转移

有时候，比如 7001 机器比较老旧，需要升级。

我们新开一个机器性能好的结点，主动成为 7001 的 slave。

然后通过 cluster failover 命令手动让 7001 宕机。

这时候新开的结点被选举为master，实现机器的无感故障转移升级。

6. RedisTemplate 配置

和哨兵的玩法类似，只不过配置文件稍微有点不同。

application.yml

主从读写分离配置还是一样：

    @Bean
public LettuceClientConfigurationBuilderCustomizer configurationBuilderCustomizer() {return configBuilder -> configBuilder.readFrom(ReadFrom.REPLICA_PREFERRED);
}

    这里的 ReadFrom 是配置 Redis 的读取策略：

    MASTER：从主节点读取

    MASTER_PERFERRED：优先从 MASTER 读取，MASTER 不可用才读取 slave。

    REPLICA：从从节点读取

    REPLICA_PERFERRED：优先从从节点读取，slave 不可用才读取 MASTER。

    主从切换、读写分离、故障转移通知接收由 RedisTemplate 全自动完成，底层已经封装好了，我们无需关注。

      本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/24451.html

      如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

      相关文章

      Javaweb后端数据库多表关系一对多，外键，一对一

      Javaweb后端数据库多表关系一对多，外键，一对一

      多表关系 一对多 多的表里&#xff0c;要有一表里的主键 外键 多的表上&#xff0c;添加外键 一对一 多对多 案例
      阅读更多...
      PhotoLine绿色版 v25.00：全能型图像处理软件的深度解析

      PhotoLine绿色版 v25.00：全能型图像处理软件的深度解析

      在图像处理领域，PhotoLine以其强大的功能和紧凑的体积，赢得了国内外众多用户的喜爱。本文将为大家全面解析PhotoLine绿色版 v25.00的各项功能，帮助大家更好地了解这款全能型的图像处理软件。 一、迷你体积，强大功能 PhotoLine被誉为迷你版的Photoshop，其体积虽小，但功能却…
      阅读更多...
      Windows 11【1001问】修改主题隐藏或删除Win11桌面“了解此图片”

      Windows 11【1001问】修改主题隐藏或删除Win11桌面“了解此图片”

      在<Windows 11【1001问】如何安装Windows 11>篇幅中我们第一安装完成Windows 11还未开始其他操作的时候会发现桌面上有一个“了解此图片”的图标是之前没见过的&#xff1b;而在Windows 11中&#xff0c;“了解此图片”图标是微软引入的一项功能&#xff0c;旨在让用户通…
      阅读更多...
      Spring MVC框架二：创建第一个MVC程序

      Spring MVC框架二：创建第一个MVC程序

      精心整理了最新的面试资料&#xff0c;有需要的可以自行获取 点击前往百度网盘获取 点击前往夸克网盘获取 有两种方式 利用配置 1、利用IDEA新建一个Maven项目&#xff0c;添加一个web支持 2、导入常用的依赖 <dependencies><dependency><groupId>junit&…
      阅读更多...
      go基本语法

      go基本语法

      跟Java比较学习。 hello word 示例代码 test1.go文件&#xff1a; // 包路径 package main// 导入模块&#xff0c;下面两种都行 import ("fmt" ) import "log"// main方法 func main() {log.Print("hello word !!!")fmt.Print("hello …
      阅读更多...
      《零基础学会！如何用 sql+Python 绘制柱状图和折线图，数据可视化一看就懂》

      《零基础学会！如何用 sql+Python 绘制柱状图和折线图，数据可视化一看就懂》

      在数据驱动的时代&#xff0c;MySQL 是最常用的关系型数据库管理系统之一&#xff0c;广泛应用于各类数据存储和处理场景。数据分析的过程不仅仅是收集数据&#xff0c;还包括数据的清洗、转换、查询以及最终的报告和可视化。在本文中&#xff0c;我们将通过实际案例来介绍如何…
      阅读更多...
      【博资考2】网安学院-北航网安基础部分（简洁版）

      【博资考2】网安学院-北航网安基础部分（简洁版）

      【博资考2】网安学院-北航网安基础部分 写在最前面北航网安学院考纲&#xff08;二&#xff09;知识要点&#xff08;三&#xff09;快速梳理1. **单钥密码体制**2. **双钥密码体制**3. **消息认证与杂凑函数**4. **数字签名**5. **密码协议**6. **数字证书与公钥基础设施 (PKI…
      阅读更多...
      【Transformer模型学习】第二篇：多头注意力机制

      【Transformer模型学习】第二篇：多头注意力机制

      文章目录 0. 前言1. 注意力机制&#xff08;Attention&#xff09;概述2. Q、K、V矩阵是怎么来的&#xff1f;3. 缩放点积注意力&#xff08;Scaled Dot-Product Attention&#xff09;4. 多头注意力&#xff08;Multi-Head Attention&#xff09;5. 多头注意力的好处6. 总结 0…
      阅读更多...
      网络运维学习笔记（DeepSeek优化版）002网工初级（HCIA-Datacom与CCNA-EI）子网划分与协议解析

      网络运维学习笔记（DeepSeek优化版）002网工初级（HCIA-Datacom与CCNA-EI）子网划分与协议解析

      文章目录 子网划分与协议解析1. VLSM与CIDR技术解析1.1 VLSM&#xff08;Variable Length Subnetwork Mask&#xff0c;可变长子网掩码&#xff09;1.2 CIDR&#xff08;Classless Inter-Domain Routing&#xff0c;无类域间路由&#xff09; 2. 子网划分方法与计算2.1 常规划分…
      阅读更多...
      将VsCode变得顺手好用（1

      将VsCode变得顺手好用（1

      目录 设置中文 配置调试功能 提效和增强相关插件 主题和图标相关插件 创建js文件 设置中文 打开【拓展】 输入【Chinese】 下载完成后重启Vs即可变为中文 配置调试功能 在随便一个位置新建一个文件夹&#xff0c;用于放置调试文件以及你未来写的代码&#xff0c;随便命名但…
      阅读更多...
      在线疫苗预约小程序（论文源码调试讲解）

      在线疫苗预约小程序（论文源码调试讲解）

      第4章 系统设计 用户对着浏览器操作&#xff0c;肯定会出现某些不可预料的问题&#xff0c;但是不代表着系统对于用户在浏览器上的操作不进行处理&#xff0c;所以说&#xff0c;要提前考虑可能会出现的问题。 4.1 系统设计思想 系统设计&#xff0c;肯定要把设计的思想进行统…
      阅读更多...
      MySql数据库运维学习笔记

      MySql数据库运维学习笔记

      数据库运维常识 DQL、DML、DCL 和 DDL 是 SQL&#xff08;结构化查询语言&#xff09;中的四个重要类别&#xff0c;它们分别用于不同类型的数据库操作&#xff0c;下面为你简单明了地解释这四类语句&#xff1a; 1. DQL&#xff08;数据查询语言&#xff0c;Data Query Langu…
      阅读更多...
      Redis 集群的三种模式：一主一从、一主多从和多主多从

      Redis 集群的三种模式：一主一从、一主多从和多主多从

      本文记述了博主在学习 Redis 在大型项目下的使用方式&#xff0c;包括如何设置Redis主从节点&#xff0c;应对突发状况如何处理。在了解了Redis的集群搭建和相关的主从复制以及哨兵模式的知识以后&#xff0c;进而想要了解 Redis 集群如何使用&#xff0c;如何正确使用&#xf…
      阅读更多...
      LangChain大模型应用开发：基于RAG实现文档问答

      LangChain大模型应用开发：基于RAG实现文档问答

      介绍 大家好&#xff0c;博主又来给大家分享知识了。随着大模型应用的不断发展&#xff0c;很多开发者都在探索如何更好地利用相关工具进行开发。那么这次给大家分享的内容是使用LangChain进行大模型应用开发中的基于RAG实现文档问答的功能。 好了&#xff0c;我们直接进入正…
      阅读更多...
      零样本学习 zero-shot

      零样本学习 zero-shot

      1 是什么 2 如何利用零样本学习进行跨模态迁移&#xff1f; demo代码 安装clip pip install ftfy regex tqdm pip install githttps://github.com/openai/CLIP.git import torch import clip from PIL import Image# 加载 CLIP 模型 device "cuda" if torch.cuda.i…
      阅读更多...
      防火墙双机热备---VRRP,VGMP,HRP(超详细)

      防火墙双机热备---VRRP,VGMP,HRP(超详细)

      双机热备技术-----VRRP&#xff0c;VGMP&#xff0c;HRP三个组成 注&#xff1a;与路由器VRRP有所不同&#xff0c;路由器是通过控制开销值控制数据包流通方向 防火墙双机热备&#xff1a; 1.主备备份模式 双机热备最大的特点就是防火墙提供了一条专门的备份通道&#xff08;心…
      阅读更多...
      面试八股文--数据库基础知识总结(1)

      面试八股文--数据库基础知识总结(1)

      1、数据库的定义 数据库&#xff08;DataBase&#xff0c;DB&#xff09;简单来说就是数据的集合数据库管理系统&#xff08;Database Management System&#xff0c;DBMS&#xff09;是一种操纵和管理数据库的大型软件&#xff0c;通常用于建立、使用和维护数据库。数据库系统…
      阅读更多...
      怎么在Github上readme文件里面怎么插入图片？

      怎么在Github上readme文件里面怎么插入图片？

      环境&#xff1a; Github 问题描述&#xff1a; 怎么在Github上readme文件里面怎么插入图片&#xff1f; https://github.com/latiaoge/AI-Sphere-Butler/tree/master 解决方案&#xff1a; 1.相对路径引用 上传图片到仓库 将图片文件&#xff08;如 .png/.jpg&#xff…
      阅读更多...
      Unity自定义树（Tree）

      Unity自定义树（Tree）

      一、创建自定义树 右键——3D Object——Tree 树的大致形态&#xff1a; 二、主干树的整体设置 Distribution Tree Seed&#xff1a;树种子&#xff0c;调节此参数就可获得不同形态的树桩 Area Spread&#xff1a;区域的大小 Ground Offset&#xff1a;树距离初始地面的偏移…
      阅读更多...
      Debezium日常分享系列之：Debezium 3.1.0.Alpha2发布

      Debezium日常分享系列之：Debezium 3.1.0.Alpha2发布

      Debezium日常分享系列之&#xff1a;Debezium 3.1.0.Alpha2发布 模式历史配置默认值的变更可能的 Vitess 数据丢失Oracle 的 ReselectColumnsPostProcessor 行为变更Reselect 列后处理器的错误处理模式TinyGo WASM 数据类型改进Debezium 平台转换 UI 中的谓词支持Debezium 平台…
      阅读更多...
      最新文章
      推荐文章

      Copyright @ 2022~2023