目录
案例概述
redis工作模式
主从模式
哨兵模式
redis cluster模式
Redis集群介绍
Redis集群的优势
Redis集群的实现方法
Redis-Cluster数据分片
Redis-Cluster的主从复制模型
Redis集群部署
案例部署
安装redis
检查redis的状态
修改配置文件
重启启动redis服务
创建redis集群
查看当前集群情况
增加节点
安装redis
案例概述
- 单节点Redis服务器带来的问题
- 单点故障,服务不可用
- 无法处理大量的并发数据请求
- 数据丢失一大灾难
- 解决方法
- 搭建Redis集群
redis工作模式
主从模式
redis2.8之前
1、解决数据备份问题
2、做到读写分离,提高服务器性能
1、master故障,无法自动故障转移,需人工介入
2、master无法实现动态扩容
哨兵模式
redis2.8级之后的模式
1、Master 状态监测
2、master节点故障,自动切换主从,故障自愈
3、所有slave从节点,随之更改新的master节点
1、slave节点下线,sentinel不会对其进行故障转移,连接从节点的客户端因为无法获取到新的可用从节点
2、master无法实行动态扩容
redis cluster模式
redis3.0版本之后
1、有效的解决了redis在分布式方面的需求
2、遇到单机内存,并发和流量瓶颈等问题时,可采用Cluster方案达到负载均衡的目的
3、可实现动态扩容
4、P2P模式,无中心化
5、通过Gossip协议同步节点信息
6、自动故障转移、Slot迁移中数据可用
7、自动分割数据到不同的节点上
8、整个集群的部分节点失败或者不可达的情况下能够继续处理命令
1、架构比较新,最佳实践较少
2、为了性能提升,客户端需要缓存路由表信息
3、节点发现、reshard操作不够自动化
4、不支持处理多个keys的命令,因为这需要在不同的节点间移动数据
5、Redis 集群不像单机 Redis 那样支持多数据库功能, 集群只使用默认的 0 号数据库, 并且不能使用 SELECT index 命令
Redis集群介绍
- Redis集群是一个提供在多个Redis间节点间共享数据的城西集
- Redis集群并不支持处理多个keys的命令,因为这需要在不同的节点间移动数据,从而达不到Redids那样的性能,在高负载的情况下可能会导致不可预料的错误
- Redis集群通过分区提供一定程度的可用性,在实际环境中当某个节点宕机或者不可达的情况下可继续处理命令
Redis集群的优势
- 自动分割数据到不同的节点上
- 整个集群的部分节点失败或者不可达的情况下能够继续处理命令
Redis集群的实现方法
- 有客户端分片
- 代理分片
- 服务器端分片
Redis-Cluster数据分片
- Redis集群没有使用一致性hash,而是引入了哈希槽概念
- Redis集群有16384个哈希槽
- 每个key通过CRC16校验后对16384取模来决定放置槽
- 集群的每个节点负责一部分哈希槽
- 支持添加或删除节点
- 添加删除节点无需停止服务
- 例如
- 如果想新添加节点D,需要移动节点A,B,C中的部分槽道D上
- 如果想移除节点A,需要将A中的槽移动道B和C节点上,再将没有任何槽的A节点从集群中移除
Redis-Cluster的主从复制模型
- 集群中具有A,B,C三个节点,如果节点B失败了,整个集群就会因缺少5501-11000这个范围的槽而不可用
- 为每个节点添加一个从节点A1,B1,C1,整个集群便有三个master节点和三个slave节点组成,在节点B失败后,集群便会选举B1为新的主节点继续服务
- 当B和B1都失败后,集群将不可用
master只有一个slave
master故障--》slave
(ping-pong)
master有多个slave
选举,选出新的主
slave广播(故障转移的认证请求),拉选票,让master投票
master(故障转移的认证应答),投票给slave
如果a-slave票数多,a成了master
如果票数一样多,再选
期望,半数以上
选组尽量是奇数台
Redis集群部署
操作系统 | IP 地址 | 角色 |
CentOS7.9 | 192.168.10.101 | master1 |
CentOS7.9 | 192.168.10.102 | master2 |
CentOS7.9 | 192.168.10.103 | master3 |
CentOS7.9 | 192.168.10.104 | slave1 |
CentOS7.9 | 192.168.10.105 | slave2 |
CentOS7.9 | 192.168.10.106 | slave3 |
案例部署
安装redis
同步六台虚拟主机,关闭所有主机的防火墙功能
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# setenforce 0
部署依赖环境,解压压缩包,进入到解压压缩包目录下
[root@localhost ~]# yum -y install gcc* zlib-devel
[root@localhost ~]# tar zxvf redis-5.0.14.tar.gz
[root@localhost ~]# cd redis-5.0.14
[root@localhost redis-5.0.14]# make
[root@localhost redis-5.0.14]# make PREFIX=/usr/local/redis install #将软件安装到 /usr/local/redis 目录下。
[root@localhost redis-5.0.14]# ln -s /usr/local/redis/bin/* /usr/local/bin/ #创建一个软链接到指定目录下
[root@localhost redis-5.0.14]# cd utils/
[root@localhost utils]# ./install_server.sh
#一直回车直到跳出这个指令
1.确定端口
2.确定配置文件位置
3.确定日志文件位置
4.确定数据目录位置
5.确定执行程序路径
检查redis的状态
[root@localhost utils]# netstat -anpt | grep redis
tcp 0 0 127.0.0.1:6379 0.0.0.0:* LISTEN 5858/redis-server 1
修改配置文件
[root@localhost utils]# vim /etc/redis/6379.conf
bind 0.0.0.0 #大概在70行,修改监听
appendonly yes #大概在700行,开启aof持久化
cluster-enabled yes #大概在833行,去掉注释,表示启用群集
cluster-config-file nodes-6379.conf #大概在841行,取消注释启用
cluster-node-timeout 15000 #大概在847行,取消注释
cluster-require-full-coverage no #大概在924行,取消注释,yes改成no
开启Cluster:cluster-enabled yes
集群配置文件:cluster-config-file nodes-7000.conf。这个配置文件不是要我们去配的,而是Redis运行时保存配置的文件,所以我们也不可以修改这个文件。
集群超时时间:cluster-node-timeout 15000。结点超时多久则认为它宕机了。
槽是否全覆盖:cluster-require-full-coverage no。默认是yes,只要有结点宕机导致16384个槽没全被覆盖,整个集群就全部停止服务,所以一定要改为no
重启启动redis服务
[root@localhost utils]# /etc/init.d/redis_6379 restart #重启redis
[root@localhost utils]# netstat -anpt | grep redis
tcp 0 0 0.0.0.0:6379 0.0.0.0:* LISTEN 5895/redis-server 0
tcp 0 0 0.0.0.0:16379 0.0.0.0:* LISTEN 5895/redis-server 0
创建redis集群
取消所有主机的同步,六个节点随便找一个节点创建集群,这些节点分布在不同的IP上,有几个写入几个
[root@localhost ~]# redis-cli --cluster create --cluster-replicas 1 192.168.10.101:6379 192.168.10.102:6379 192.168.10.103:6379 192.168.10.104:6379 192.168.10.105:6379 192.168.10.106:6379
yes
查看当前集群情况
[root@localhost ~]# redis-cli
127.0.0.1:6379> cluster nodes
测试集群
自动把请求对应到某个主机
[root@localhost ~]# redis-cli -h 192.168.10.101 -p 6379 -c
192.168.10.101:6379> set k1 11
-> Redirected to slot [12706] located at 192.168.10.103:6379
OK
192.168.10.103:6379> set k2 22
-> Redirected to slot [449] located at 192.168.10.101:6379
OK
192.168.10.101:6379> set k3 33
OK
192.168.10.101:6379> set k4 44
-> Redirected to slot [8455] located at 192.168.10.102:6379
OK
192.168.10.102:6379> set k5 55
-> Redirected to slot [12582] located at 192.168.10.103:6379
OK
192.168.10.103:6379> set k6 66
-> Redirected to slot [325] located at 192.168.10.101:6379
OK
192.168.10.101:6379> set k7 77
OK
192.168.10.101:6379> set k8 88
-> Redirected to slot [8331] located at 192.168.10.102:6379
OK
192.168.10.102:6379> set k9 99
-> Redirected to slot [12458] located at 192.168.10.103:6379
OK
192.168.10.103:6379> keys *
1) "k9"
2) "k5"
3) "k1"
增加节点
安装redis
同步三台主机,直接用脚本运行安装
[root@localhost ~]# bash install_redis.sh
安装完成后取消同步
新增加的节点是master角色
[root@localhost ~]# redis-cli -c -p 6379 cluster meet 192.168.10.107:6379