一 应用场景
为什么需要redis集群?
当主备复制场景,无法满足主机的单点故障时,需要引入集群配置。
一般数据库要处理的读请求远大于写请求 ,针对这种情况,我们优化数据库可以采用读写分离的策略。我们可以部 署一台主服务器主要用来处理写请求,部署多台从服务器 ,处理读请求。
二 基本原理
哨兵选举机制,如果有半数节点发现某个异常节点,共同决定改异常节点的状态,如果该节点是主节点,对应的备节点自动顶替为主节点。Sentinel(哨兵)是Redis 的高可用性解决方案:由一个或多个Sentinel 实例 组成的Sentinel 系统可以监视任意多个主服务器,以及这些主服务器属下的所有从服务器,并在被监视的主服务器进入下线状态时,自动将下线主服务器属下的某个从服务器升级为新的主服务器。
1.主从复制的作用
1、数据冗余:主从复制实现了数据的热备份,是持久化之外的一种数据冗余方式。
2、故障恢复:当主节点出现问题时,可以由从节点提供服务,实现快速的故障恢复;实际上是一种服务的冗余。
3、负载均衡:在主从复制的基础上,配合读写分离,可以由主节点提供写服务,由从节点提供读服务(即写Redis数据时应用连接主节点,读Redis数据时应用连接从节点),分担服务器负载;尤其是在写少读多的场景下,通过多个从节点分担读负载,可以大大提高Redis服务器的并发量。
4、读写分离:可以用于实现读写分离,主库写、从库读,读写分离不仅可以提高服务器的负载能力,同时可根据需求的变化,改变从库的数量。
5、高可用基石:除了上述作用以外,主从复制还是哨兵和集群能够实施的基础,因此说主从复制是Redis高可用的基础
2.配置集群所需的环境
Redis集群至少需要3个节点,因为投票容错机制要求超过半数节点认为某个节点挂了该节点才是挂了,所以2个节点无法构成集群。
要保证集群的高可用,需要每个节点都有从节点,也就是备份节点,所以Redis集群至少需要6台服务器。因为我没有那么多服务器,也启动不了那么多虚拟机,所在这里搭建的是伪分布式集群,即一台服务器虚拟运行6个redis实例,修改端口号为(7001-7006),当然实际生产环境的Redis集群搭建和这里是一样的。
槽点
在Redis集群中,槽(Slot)是一种逻辑上的划分方式,用于将数据按照Key进行分片存储。Redis集群默认将所有数据分成16384个槽,每个槽可以存储一个或多个键值对。
槽的作用是实现数据的分布式存储和负载均衡。通过对Key进行哈希计算,确定每个键值对应该存放在哪个槽中,从而将数据均匀地分配到整个集群中的各个节点上。这样可以保证数据在集群中的分布相对均衡,提高整个集群的性能和可扩展性。
在Redis集群中,每个节点负责处理一部分槽的数据。当一个节点加入或离开集群时,槽的重新分配会发生变化。集群中的主节点会根据需要将槽从一个节点迁移到另一个节点,以实现负载均衡和高可用性。
3.配置集群所需的环境
Redis集群至少需要3个节点,因为投票容错机制要求超过半数节点认为某个节点挂了该节点才是挂了,所以2个节点无法构成集群。
要保证集群的高可用,需要每个节点都有从节点,也就是备份节点,所以Redis集群至少需要6台服务器。因为我没有那么多服务器,也启动不了那么多虚拟机,所在这里搭建的是伪分布式集群,即一台服务器虚拟运行6个redis实例,修改端口号为(7001-7006),当然实际生产环境的Redis集群搭建和这里是一样的。
(1).规划网络。
用一台虚拟机模拟6个节点,一台机器6个节点,创建出3 master、3 salve 环境。虚拟机是 CentOS7 ,ip地址192.168.195.33
或者
创建六台服务器,步骤与一台创建六个节点效果相同
(2).创建 Redis 节点
首先在 192.168.195.33 机器上 /usr/目录下创建 myredis目录;
mkdir myredis
(创建六台服务器的克隆服务器安装配置好redis就可以,不用执行2、3)
(3).创建目录
在 myredis 目录下,创建名为7001、7002,7003、7004、7005,7006的目录
mkdir 7001 7002 7003 7004 7005 7006
(4).配置7001、7002,7003、7004、7005,7006
先在7001目录配置,添加redis.conf文件
写入
include /usr/th/redis/redis-5.0.14/redis.conf //th是我自己的目录
port 7001
pidfile "/var/run/redis_7001.pid"
dbfilename "dump_7001.rdb"
dir "/usr/myredis/7001"
logfile "/usr/myredis/7001/redis_err_7001.log"
bind 0.0.0.0
protected-mode no
daemonize yescluster-enabled yes
cluster-config-file nodes-7001.conf
cluster-node-timeout 15000
(配置内容参考redis主从复制的文章)
机器一般不设置密码
(5).将 7001的redis.conf 拷贝到这六个目录中
echo ./7002 ./7003 ./7004 ./7005 ./7006 | xargs -n 1 cp -v /usr/myredis/7001/redis.conf
拷贝完然后更改里面的端口号可以了
(6)启动
一键启动,在myredis中写一个stredis的脚本,并给脚本赋权限
#!/bin/bash
/usr/local/bin/redis-server /usr/myredis/7001/redis.conf
/usr/local/bin/redis-server /usr/myredis/7002/redis.conf
/usr/local/bin/redis-server /usr/myredis/7003/redis.conf
/usr/local/bin/redis-server /usr/myredis/7004/redis.conf
/usr/local/bin/redis-server /usr/myredis/7005/redis.conf
/usr/local/bin/redis-server /usr/myredis/7006/redis.conf
(7) 创建redis的集群
Redis-cli --cluster create 节点(ip:端口号)
--cluster-replicas 1
分配主从 比例1
/usr/local/bin/redis-cli --cluster create 192.168.195.33:7001 192.168.195.33:7002 192.168.195.33:7003 192.168.195.33:7004 192.168.195.33:7005 192.168.195.33:7006 --cluster-replicas 1
六个节点 三个主节点 三个从节点配置成功如下图
(8)使用cli连接redis集群
使用客户端链接集群 必须使用 -c 连接
/usr/java/redis/bin/redis-cli -c -h 192.168.159.34 -p 7002
查看集群的节点的信息 :cluster nodes
(9)检查节点的信息
/usr/local/bin/redis-cli --cluster check 192.168.184.33:7003
(10)添加主节点
配置文件 7007 /redis.conf
在添加之前首先要像7001-6一样,修改配置文件
启动7007 服务
添加主节点
/usr/java/redis/bin/redis-cli --cluster add-node 192.168.159.34:7007 192.168.159.34:7002
前面的IP加端口号是要添加的redis节点,后面的IP和端口号是集群中的任意一个节点。
表示添加成功
(11) 配置从节点
刚才添加的主节点还没有分配槽,所以无法使用
添加从节点之前需要设置从节点并启动节点
配置7008成为7007的从节点
/usr/local/bin/redis-cli --cluster add-node 192.168.195.33:7008 192.168.195.33:7002 --cluster-slave --cluster-master-id 9b1df1481e5a40bf6028dcd036a823cca4f880f7
主节点分配槽
槽在创建集群时就已分配只有那么多,所有只能重分配
/usr/local/bin/redis-cli --cluster reshard 192.168.195.33:7001
查看7007,可以看到已分配500个槽
(12)删除从节点
--cluster del-node 集群的节点 节点的id
/usr/local/bin/redis-cli --cluster del-node 192.168.195.33:7001 d1fcea6d16a4434493f6615e48c5bc9ba89364a0
(12)删除主节点
先将槽归还给集群
槽点为归0删不了
/usr/local/bin/redis-cli --cluster reshard 192.168.195.33:7001
槽点为0
删除主节点(只有槽点为0后才能删除主节点)
(13)测试集群
关闭7002后7005成为主节点
/usr/local/bin/redis-cli -p 7002 shutdown(优雅的关闭)
如果7002重新启动成为7005的从节点
优雅的关闭脚本 不能kill -9
vim stpredis
#!/bin/bash
/usr/local/bin/redis-cli -h 192.168.184.33 -p 7001 shutdown
/usr/local/bin/redis-cli -h 192.168.184.33 -p 7002 shutdown
/usr/local/bin/redis-cli -h 192.168.184.33 -p 7003 shutdown
/usr/local/bin/redis-cli -h 192.168.184.33 -p 7004 shutdown
/usr/local/bin/redis-cli -h 192.168.184.33 -p 7005 shutdown
三 slots
一个 Redis 集群包含 16384 个插槽(hash slot), 数据库中的每个键都属于这 16384 个插槽的其中一个,
集群使用公式 CRC16(key) % 16384 来计算键 key 属于哪个槽, 其中 CRC16(key) 语句用于计算键 key 的 CRC16 校验和 。
name 2 [0-5460]
集群中的每个节点负责处理一部分插槽。 举个例子, 如果一个集群可以有主节点, 其中:
节点 A 负责处理 0 号至 5460 号插槽。
节点 B 负责处理 5461 号至 10922 号插槽。
节点 C 负责处理 10923 号至 16383 号插槽。
1.在集群中录入值
在redis-cli每次录入、查询键值,redis都会计算出该key应该送往的插槽,如果不是该客户端对应服务器的插槽,redis会报错,并告知应前往的redis实例地址和端口。
redis-cli客户端提供了 –c 参数实现自动重定向。
如 redis-cli -c –p 7000登入后,再录入、查询键值对可以自动重定向。
批量添加
不在一个slot下的键值,是不能使用mget,mset等多键操作。
可以通过{}来定义组的概念,从而使key中{}内相同内容的键值对放到一个slot中去。(按组分配插槽)