目录
一、集群原理
二、集群的作用
(1)数据分区
(2)高可用
Redis集群的作用和优势
三、Redis集群的数据分片
四、Redis集群的工作原理
五、搭建redis群集模式
5.1启用脚本配置集群
5.2修改集群配置
5.3启动redis节点
5.4启动集群
5.5测试群集
一、集群原理
集群,即Redis Cluster,是Redis 3.0开始引入的分布式存储方案。
集群由多个节点(Node)组成,Redis的数据分布在这些节点中。集群中的节点分为主节点和从节点
只有主节点负责读写请求和集群信息的维护;从节点只进行主节点数据和状态信息的复制
Cluster模式是Redis的一种高级集群模式,它通过数据分片和分布式存储实现了负载均衡和高可用性。在Cluster模式下,Redis将所有的键值对数据分散在多个节点上。每个节点负责一部分数据,称为槽位。通过对数据的分片,Cluster模式可以突破单节点的内存限制,实现更大规模的数据存储。
二、集群的作用
(1)数据分区
数据分区(或称数据分片)是集群最核心的功能
集群将数据分散到多个节点,一方面突破了Redis单机内存大小的限制,存储容量大大增加;
另一方面每个主节点都可以对外提供读服务和写服务,大大提高了集群的响应能力。
Redis单机内存大小受限问题,在介绍持久化和主从复制时都有提及;
例如,如果单机内存太大,bgsave和bgrewriteaof的fork操作可能导致主进程阻塞,主从环境下主机切换时可能导致从节点长时间无法提供服务,全量复制阶段主节点的复制缓冲区可能溢出。
(2)高可用
集群支持主从复制和主节点的自动故障转移(与哨兵类似);当任一节点发生故障时,集群仍然可以对外提供服务。
Redis集群的作用和优势
- 高可用性:Redis集群可以在某个节点发生故障时,自动进行故障转移,保证服务的持续可用。
- 负载均衡:Redis集群可以将客户端请求分发到不同的节点上,有效地分摊节点的压力,提高系统的整体性能。
- 容灾恢复:通过主从复制或哨兵模式,Redis集群可以在主节点出现故障时,快速切换到从节点,实现业务的无缝切换。
- 数据分片:在Cluster模式下,Redis集群可以将数据分散在不同的节点上,从而突破单节点内存限制,实现更大规模的数据存储。
- 易于扩展:Redis集群可以根据业务需求和系统负载,动态地添加或移除节点,实现水平扩展
三、Redis集群的数据分片
- Redis集群引入了哈希槽的概念
- Redis集群有16384个哈希槽(编号0-16383)
- 集群的每个节点负责一部分哈希槽
每个Key通过CRC16校验后对16384取余来决定放置哪个哈希槽,通过这个值,去找到对应的插槽所对应的节点,然后直接自动跳转到这个对应的节点上进行存取操作
以3个节点组成的集群为例
- 节点A包含0到5460号哈希槽
- 节点B包含5461到10922号哈希槽
- 节点C包含10923到16383号哈希槽
Redis集群的主从复制模型
集群中具有A、B、C三个节点,如果节点B失败了,整个集群就会因缺少5461-10922这个范围的槽而不可以用
为每个节点添加一个从节点A1、B1、C1整个集群便有三个Master节点和三个slave节点组成,在节点B失败后,集群选举B1位为的主节点继续服务。当B和B1都失败后,集群将不可用
redis2坏了,其它的从节点不能去顶,因为其他从节点没有跟它做主从同步,只有它对应的从节点才会顶上去,还有就是它跟其他从节点,哈希槽位不一样,只能对应的从节点去顶,如果其中一组主从复制宕机了,数据也不会丢失,因为有存储给他们存数据。
集群功能:
既可以实现高可用,又支持读写负载均衡,且可以横向扩容,更灵活。缺点成本高!
四、Redis集群的工作原理
- 集群有多组节点,每组节点负责一部分哈希槽。
- 读写数据时,先针对key根据crc16的算法得出一个结果,然后把结果对 16384 取余。通过这个值去找到对应的哈希槽的节点,进行数据读写。
- 集群每组节点内做主从复制,当主节点宕机的时候,就会启用从节点。主节点负责读写请求和集群信息的维护;从节点负责主节点数据和状态信息的复制。
五、搭建redis群集模式
redis的集群一般需要6个节点,3主3从
方便起见,这里所有节点在同一台服务器上模拟:
以端口号进行区分:3个主节点端口号:6001/6002/6003对应的从节点端口号:6004/6005/6006
cluster ①读写可以负载均衡 ②自动故障转移 ③突破了单机存储限制
master作用 ①可读、可写 ②利用分布式特性 存储上限 ③进行故障转移
slave作用 ①同步自身的master ②提供可读 ③冗余 备份 准备 顶替
5.1启用脚本配置集群
[root@localhost ~]#systemctl stop firewalld
[root@localhost ~]#setenforce 0
setenforce: SELinux is disabled
[root@localhost ~]#cd /etc/redis/
[root@localhost redis]#ls
6379.conf
[root@localhost redis]#mkdir -p redis-cluster/redis600{1..6}
[root@localhost redis]#ls
6379.conf redis-cluster
[root@localhost redis]#ls -p redis-cluster/
redis6001/ redis6002/ redis6003/ redis6004/ redis6005/ redis6006/
[root@localhost redis]#vim redis-cluster.sh
[root@localhost redis]#cat redis-cluster.sh
#!/bin/bash
for i in {1..6}
do
cp /opt/redis-5.0.7/redis.conf /etc/redis/redis-cluster/redis600$i
cp /opt/redis-5.0.7/src/redis-cli /opt/redis-5.0.7/src/redis-server /etc/redis/redis-cluster/redis600$i
done
[root@localhost redis]#bash redis-cluster.sh
[root@localhost redis]#
for循环在已知次数的时候用,while循环,重复测试某个条件时候用,例如每天备份日志
for i in {1..6}
do
cp /opt/redis-5.0.7/redis.conf /etc/redis/redis-cluster/redis600$i
cp /opt/redis-5.0.7/src/redis-cli /opt/redis-5.0.7/src/redis-server /etc/redis/redis-cluster/redis600$i
done
5.2修改集群配置
[root@localhost ~]#cd /etc/redis/
[root@localhost redis]#ls
6379.conf redis-cluster redis-cluster.sh
[root@localhost redis]#cd redis-cluster/
[root@localhost redis-cluster]#ls
redis6001 redis6002 redis6003 redis6004 redis6005 redis6006
[root@localhost redis-cluster]#cd /etc/redis/redis-cluster/redis6001
[root@localhost redis6001]#ls
redis-cli redis.conf redis-server
[root@localhost redis6001]#vim redis.conf
vim redis.conf
------------------------------------
#bind 127.0.0.1 #69行,注释掉bind 项,默认监听所有网卡
protected-mode no #88行,修改,关闭保护模式
port 6001 #92行,修改,redis监听端口,
daemonize yes #136行,开启守护进程,以独立进程启动
cluster-enabled yes #832行,取消注释,开启群集功能
cluster-config-file nodes-6001.conf #840行,取消注释,群集名称文件设置
cluster-node-timeout 15000 #846行,取消注释群集超时时间设置
appendonly yes #699行,修改,开启AOF持久化
#开启群集功能:
#其他5个文件夹的配置文件以此类推修改,注意6个端口都要不一样
[root@localhost redis6001]#cd ../
[root@localhost redis-cluster]#ls
redis6001 redis6002 redis6003 redis6004 redis6005 redis6006
[root@localhost redis-cluster]#cp /etc/redis/redis-cluster/redis6001/redis.conf /etc/redis/redis-cluster/redis6002/redis.conf #由于配置差不多,一起拷贝过去再编辑
cp:是否覆盖"/etc/redis/redis-cluster/redis6002/redis.conf"? yes
[root@localhost redis-cluster]#cp /etc/redis/redis-cluster/redis6001/redis.conf /etc/redis/redis-cluster/redis6003/redis.conf
cp:是否覆盖"/etc/redis/redis-cluster/redis6003/redis.conf"? yes
[root@localhost redis-cluster]#cp /etc/redis/redis-cluster/redis6001/redis.conf /etc/redis/redis-cluster/redis6004/redis.conf
cp:是否覆盖"/etc/redis/redis-cluster/redis6004/redis.conf"? yes
[root@localhost redis-cluster]#cp /etc/redis/redis-cluster/redis6001/redis.conf /etc/redis/redis-cluster/redis6005/redis.conf
cp:是否覆盖"/etc/redis/redis-cluster/redis6005/redis.conf"? yes
[root@localhost redis-cluster]#cp /etc/redis/redis-cluster/redis6001/redis.conf /etc/redis/redis-cluster/redis6006/redis.conf
cp:是否覆盖"/etc/redis/redis-cluster/redis6006/redis.conf"? yes
[root@localhost redis-cluster]#ls
redis6001 redis6002 redis6003 redis6004 redis6005 redis6006
[root@localhost redis-cluster]#vim redis6002/redis.conf #分别进行6个端口编辑
[root@localhost redis-cluster]#vim redis6003/redis.conf
[root@localhost redis-cluster]#vim redis6004/redis.conf
[root@localhost redis-cluster]#vim redis6005/redis.conf
[root@localhost redis-cluster]#vim redis6006/redis.conf
[root@localhost redis-cluster]#
修改redis6002
cp /etc/redis/redis-cluster/redis6001/redis.conf /etc/redis/redis-cluster/redis6002/redis.conf
修改redis6003
[root@localhost redis6002]#cd ../
[root@localhost redis-cluster]#ls
redis6001 redis6002 redis6003 redis6004 redis6005 redis6006
[root@localhost redis-cluster]#cp /etc/redis/redis-cluster/redis6001/redis.conf /etc/redis/redis-cluster/redis6003/redis.conf
cp:是否覆盖"/etc/redis/redis-cluster/redis6003/redis.conf"? yes
[root@localhost redis-cluster]#cd redis6003
[root@localhost redis6003]#ls
redis-cli redis.conf redis-server
[root@localhost redis6003]#vim redis.conf
[root@localhost redis6003]#
修改redis6004 可以修改前先做备份
cp /etc/redis/redis-cluster/redis6001/redis.conf /etc/redis/redis-cluster/redis6004/redis.conf
修改redis6005
[root@localhost redis6004]#cp /etc/redis/redis-cluster/redis6001/redis.conf /etc/redis/redis-cluster/redis6005/redis.conf
cp:是否覆盖"/etc/redis/redis-cluster/redis6005/redis.conf"? yes
[root@localhost redis6004]#vim /etc/redis/redis-cluster/redis6005/redis.conf
修改redis6006
[root@localhost redis6004]#cp /etc/redis/redis-cluster/redis6001/redis.conf /etc/redis/redis-cluster/redis6006/redis.conf
cp:是否覆盖"/etc/redis/redis-cluster/redis6006/redis.conf"? yes
[root@localhost redis6004]#vim /etc/redis/redis-cluster/redis6006/redis.conf
5.3启动redis节点
分别进入那六个文件夹,执行命令:redis-server redis.conf ,来启动redis节点
cd /etc/redis/redis-cluster/redis6001 #进入对应实例1目录
redis-server redis.conf #执行启动redis实例1......
也可以设置一个脚本来执行
for d in {1..6}
do
cd /etc/redis/redis-cluster/redis600$d
redis-server redis.conf
done
[root@localhost redis-cluster]#vim redis.sh
[root@localhost redis-cluster]#cat redis.sh
for d in {1..6}
do
cd /etc/redis/redis-cluster/redis600$d
redis-server redis.conf
done
[root@localhost redis-cluster]#
[root@localhost redis-cluster]#bash redis.sh
52754:C 05 Apr 2024 23:14:37.775 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
52754:C 05 Apr 2024 23:14:37.775 # Redis version=5.0.7, bits=64, commit=00000000, modified=0, pid=52754, just started
52754:C 05 Apr 2024 23:14:37.775 # Configuration loaded
52756:C 05 Apr 2024 23:14:37.786 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
52756:C 05 Apr 2024 23:14:37.786 # Redis version=5.0.7, bits=64, commit=00000000, modified=0, pid=52756, just started
52756:C 05 Apr 2024 23:14:37.786 # Configuration loaded
52761:C 05 Apr 2024 23:14:37.793 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
52761:C 05 Apr 2024 23:14:37.793 # Redis version=5.0.7, bits=64, commit=00000000, modified=0, pid=52761, just started
52761:C 05 Apr 2024 23:14:37.793 # Configuration loaded
52763:C 05 Apr 2024 23:14:37.810 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
52763:C 05 Apr 2024 23:14:37.810 # Redis version=5.0.7, bits=64, commit=00000000, modified=0, pid=52763, just started
52763:C 05 Apr 2024 23:14:37.810 # Configuration loaded
52765:C 05 Apr 2024 23:14:37.835 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
52765:C 05 Apr 2024 23:14:37.835 # Redis version=5.0.7, bits=64, commit=00000000, modified=0, pid=52765, just started
52765:C 05 Apr 2024 23:14:37.835 # Configuration loaded
52773:C 05 Apr 2024 23:14:37.853 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
52773:C 05 Apr 2024 23:14:37.854 # Redis version=5.0.7, bits=64, commit=00000000, modified=0, pid=52773, just started
52773:C 05 Apr 2024 23:14:37.854 # Configuration loaded
[root@localhost redis-cluster]#ps -elf|grep redis
5 S root 44354 1 0 80 0 - 41826 ep_pol 14:40 ? 00:01:36 /usr/local/bin/redis-server 127.0.0.1:6379
5 S root 52755 1 0 80 0 - 38499 ep_pol 23:14 ? 00:00:00 redis-server *:6001 [cluster]
5 S root 52760 1 0 80 0 - 38499 ep_pol 23:14 ? 00:00:00 redis-server *:6002 [cluster]
5 S root 52762 1 0 80 0 - 38499 ep_pol 23:14 ? 00:00:00 redis-server *:6003 [cluster]
5 S root 52764 1 0 80 0 - 38499 ep_pol 23:14 ? 00:00:00 redis-server *:6004 [cluster]
5 S root 52772 1 0 80 0 - 38499 ep_pol 23:14 ? 00:00:00 redis-server *:6005 [cluster]
5 S root 52780 1 0 80 0 - 38499 ep_pol 23:14 ? 00:00:00 redis-server *:6006 [cluster]
0 R root 52793 51689 0 80 0 - 28206 - 23:15 pts/1 00:00:00 grep --color=auto redis
5.4启动集群
redis-cli --cluster create 127.0.0.1:6001 127.0.0.1:6002 127.0.0.1:6003 127.0.0.1:6004 127.0.0.1:6005 127.0.0.1:6006 --cluster-replicas 1
#六个实例分为三组,每组一主一从,前面的做主节点,后面的做从节点。下面交互的时候 需要输入 yes 才可以创建。
--replicas 1 表示每个主节点有1个从节点#前面三个ip+端口是master服务器,后面三个是slave服务器
6001/6002/6003是redis的主服务器,6004/6005/6006是redis的从服务器
此处ip地址可以用127.0.0.1也可以写本机ip地址192.168.246.8
5.5测试群集
[root@localhost redis-cluster]#redis-cli -p 6001 -c #加-c参数,节点之间就可以互相跳转
127.0.0.1:6001> cluster slots #查看节点的哈希槽编号范围
1) 1) (integer) 109232) (integer) 16383 #哈希槽编号范围3) 1) "127.0.0.1"2) (integer) 6003 #主节点IP和端口号3) "3ca7203553613ca22049c36e2e2364304fff2248"4) 1) "127.0.0.1"2) (integer) 6006 #从节点IP和端口号3) "195a17349aaf915ccd8840d8c7b8b9178ff5475e"
2) 1) (integer) 02) (integer) 54603) 1) "127.0.0.1"2) (integer) 60013) "5a1688613ce542966b334c4c62e485e84bf15009"4) 1) "127.0.0.1"2) (integer) 60043) "5b1be9eabe665c3babb4c99e7082d2a7763e019a"
3) 1) (integer) 54612) (integer) 109223) 1) "127.0.0.1"2) (integer) 60023) "3ca94c0c41677613f363bc21b8bd954143c32992"4) 1) "127.0.0.1"2) (integer) 60053) "6cecd64dde7db6d4604eb723a0c0aad78001695a"
127.0.0.1:6001>
对应的slave节点也有这条数据,但是别的节点没有
[root@localhost redis-cluster]#redis-cli -p 6001 -c
127.0.0.1:6001> set name zzz
-> Redirected to slot [5798] located at 127.0.0.1:6002
OK
127.0.0.1:6002> get name
"zzz"
127.0.0.1:6002> exit
[root@localhost redis-cluster]#redis-cli -p 6002 -c
127.0.0.1:6002> keys 8
(empty list or set)
127.0.0.1:6002> keys *
1) "name"
127.0.0.1:6002>
[root@localhost redis-cluster]#redis-cli -p 6004 -c
127.0.0.1:6004> keys *
(empty list or set)
127.0.0.1:6004>
[root@localhost redis-cluster]#redis-cli -p 6005 -c
127.0.0.1:6005> keys *
1) "name"
127.0.0.1:6005>
[root@localhost redis-cluster]#redis-cli -p 6001 -c
127.0.0.1:6001> keys *
(empty list or set)
127.0.0.1:6001>
[root@localhost redis-cluster]#redis-cli -p 6003 -c
127.0.0.1:6003> keys *
(empty list or set)
127.0.0.1:6003> get name
-> Redirected to slot [5798] located at 127.0.0.1:6002
"zzz"
127.0.0.1:6002> cluster keyslot name
(integer) 5798
127.0.0.1:6002>
集群模式——Cluster
redis cluster 是一个提供高性能、高可用、数据分片、故障转移特性的分布式数据库解决方案,提供一组redis服务之间的网络接口。
- 数据分片:redis cluster 实现了就爱那个数据自动分片,每个节点都会保存一份数据
- 故障转移:若个某个节点发生故障,cluster会自动将其上的分片迁移个其他节点
- 高性能:由于数据分片和网络,redis cluster提供高性能的数据操作
- 高可能:如果单个节点挂掉了,那么redis cluster 内部会自动进行故障恢复
①redis主从复制
reids 主从复制是一种同步机制,主服务器数据的修改,会实时同步到从服务器上,实现数据备份和读写分离
②哨兵模式
redis 哨兵是一个用于管理多个redis 服务器的系统 ,它提供监控 、通知、自动故障转移和配置服务,来实现redis高可用性。
哨兵功能
1)监控
2)通知
3)自动故障转移4)配置提供服务(客户端做为验证)
③集群cluster
redis 集群 是一个提供高性能、 高可用、数据分片、 故障转移特性的 分布式 分数据库模式
1)数据分片
2)故障转移
3)高性能
4)高可用