redis群集三种模式:主从复制、哨兵、集群

redis群集有三种模式

redis群集有三种模式,分别是主从同步/复制、哨兵模式、Cluster,下面会讲解一下三种模式的工作方式,以及如何搭建cluster群集

主从复制:主从复制是高可用Redis的基础,哨兵和集群都是在主从复制基础上实现高可用的。主从复制主要实现了数据的多机备份,以及对于读操作的负载均衡和简单的故障恢复。
缺陷:故障恢复无法自动化;写操作无法负载均衡;存储能力受到单机的限制

哨兵在主从复制的基础上,实现了自动化的故障恢复。
缺陷:写操作无法负载均衡;存储能力受到单机的限制;哨兵无法对从节点进行自动故障转移,在读写分离场景下,从节点故障会导致读服务不可用,需要对从节点做额外的监控、切换操作。

集群通过集群,Redis解决了写操作无法负载均衡,以及存储能力受到单机限制的问题,实现了较为完善的高可用方案


一、Redis 主从复制

主从复制,是指将一台Redis服务器的数据,复制到其他的Redis服务器前者称为主节点(Master),后者称为从节点(Slave);数据的复制是单向的,只能由主节点到从节点。(将主节点的数据备份到从节点

默认情况下,每台Redis服务器都是主节点;且一个主节点可以有多个从节点(或没有从节点),但一个从节点只能有一个主节点。


主从复制的作用

数据冗余:主从复制实现了数据的热备份,是持久化之外的一种数据冗余方式。
故障恢复:当主节点出现问题时,可以由从节点提供服务,实现快速的故障恢复;实际上是一种服务的冗余。
负载均衡:在主从复制的基础上,配合读写分离,可以由主节点提供写服务,由从节点提供读服务(即写Redis数据时应用连接主节点,读Redis数据时应用连接从节点),分担服务器负载;尤其是在写少读多的场景下,通过多个从节点分担读负载,可以大大提高Redis服务器的并发量
高可用基石:除了上述作用以外,主从复制还是哨兵和集群能够实施的基础,因此说主从复制是Redis高可用的基础。


主从复制流程

1、请求同步:
从服务器(Slave)启动或重新连接时,它会向主服务器(Master)发送一个同步请求(sync )

2、生成快照:
主服务器接收到同步请求后,fork子进程来生成RDB快照(RDB 文件)。
在创建快照的同时,客户端还在持续写入redis,主服务器会缓存所有fork子进程期间的命令

3、发送数据:
RDB持久化完成后,主服务器将RDB文件 和 缓存的命令发送给从服务器
从服务器接收到RDB文件后,将其保存到硬盘上,并加载到内存中。从同步执行这些命令,使自己的数据与主服务器保持一致。

4、持续同步:
复制推送完后,主redis会持续的同步操作,利用AOF持久化功能

5、在下一台 从redis服务器接入主从集群之前,会持续利用redis持久化功能
 

搭建Redis 主从复制(一主两从)

Master节点: 192.168.190.10
Slave1节点: 192.168.190.20
Slave2节点: 192.168.190.30

systemctl stop firewalld
setenforce 0

-----安装 Redis-----

yum install -y gcc gcc-c++ make

scp redis-5.0.7.tar.gz 192.168.190.20:/home/          #把压缩包同步到另外两台机器

scp redis-5.0.7.tar.gz 192.168.190.30:/home/

tar zxvf redis-5.0.7.tar.gz -C /opt/

wget -p /opt http://download.redis.io/releases/redis-5.0.9.tar.gz
cd /opt/redis-5.0.7/
make
make PREFIX=/usr/local/redis install

cd /opt/redis-5.0.7/utils
./install_server.sh
......
Please select the redis executable path [/usr/local/bin/redis-server] /usr/local/redis/bin/redis-server      

ln -s /usr/local/redis/bin/* /usr/local/bin/

-----修改 Redis 配置文件(Master节点操作)-----

vim /etc/redis/6379.conf   redis.conf
bind 0.0.0.0                        #70行,修改监听地址为0.0.0.0
daemonize yes                        #137行,开启守护进程
logfile /var/log/redis_6379.log        #172行,指定日志文件目录
dir /var/lib/redis/6379                #264行,指定工作目录
appendonly yes                        #700行,开启AOF持久化功能


/etc/init.d/redis_6379 restart

-----修改 Redis 配置文件(Slave节点操作)-----

vim /etc/redis/6379.conf
bind 0.0.0.0                        #70行,修改监听地址为0.0.0.0
daemonize yes                        #137行,开启守护进程
logfile /var/log/redis_6379.log        #172行,指定日志文件目录
dir /var/lib/redis/6379                #264行,指定工作目录        
replicaof 192.168.190.10 6379        #288行,指定要同步的Master节点IP和端口
appendonly yes                        #700行,开启AOF持久化功能


/etc/init.d/redis_6379 restart

-----验证主从效果-----
在Master节点上看日志:

tail -f /var/log/redis_6379.log 
Replica 192.168.190.20:6379 asks for synchronization

Replica 192.168.190.30:6379 asks for synchronization

在Master节点上验证从节点:

[root@localhost utils]# redis-cli info replication
# Replication
role:master
connected_slaves:2
slave0:ip=192.168.190.20,port=6379,state=online,offset=364,lag=0
slave1:ip=192.168.190.30,port=6379,state=online,offset=364,lag=0

二、Redis 哨兵模式(故障自动切换)

主从切换技术的方法是:当服务器宕机后,需要手动一台从机切换为主机,这需要人工干预,不仅费时费力而且还会造成一段时间内服务不可用。为了解决主从复制的缺点,就有了哨兵机制。

哨兵的核心功能:在主从复制的基础上,哨兵引入了主节点的自动故障转移

哨兵模式原理

哨兵(sentinel):是一个分布式系统,用于监控每台主从服务器,当出现故障时通过投票机制选择新的 Master并将所有slave连接到新的 Master。所以整个运行哨兵的集群的数量不得少于3个节点。

哨兵模式的作用

监控监控主节点和从节点是否运作正常监控哨兵彼此的存活状态

自动故障转移:当主节点不能正常工作时,哨兵会开始自动故障转移操作,它会将失效主节点的其中一个从节点升级为新的主节点,并让其它从节点改为复制新的主节点。

通知(提醒):哨兵可以将故障转移的结果发送给客户端


哨兵结构由两部分组成,哨兵节点和数据节点:
●哨兵节点:哨兵系统由一个或多个哨兵节点组成,哨兵节点是特殊的redis节点,不存储数据。
●数据节点:主节点和从节点都是数据节点。


故障转移机制

1.由哨兵节点定期监控发现主节点是否出现了故障
每个哨兵节点每隔1秒会向主节点、从节点及其它哨兵节点发送一次ping命令做一次心跳检测。如果主节点在一定时间范围内不回复或者是回复一个错误消息,那么这个哨兵就会认为这个主节点主观下线了(单方面的)。进行投票机制,超过半数哨兵节点认为该主节点主观下线了,原master就客观下线了。

1、当主节点出现故障,此时哨兵节点会通过投票机制共同选举出一个新的master。

2、完成 slave --》master 的切换

3、完成其他从服务器对新master的数据配置

4、当原master修复后,添加到从节点当中完成集群化

3.由leader哨兵节点执行故障转移,过程如下:
●将某一个从节点升级为新的主节点,让其它从节点指向新的主节点;
●若原主节点恢复也变成从节点,并指向新的主节点;
●通知客户端主节点已经更换。

需要特别注意的是,客观下线是主节点才有的概念;如果从节点和哨兵节点发生故障,被哨兵主观下线后,不会再有后续的客观下线和故障转移操作。

主观下线:一个哨兵认为主服务器可能已经下线,但还没有达成共识。

客观下线:经过投票机制,大多数哨兵都认为主服务器已经下线。

#主节点的选举
1.过滤掉不健康的(已下线的),没有回复哨兵 ping 响应的从节点。
2.选择配置文件中从节点优先级配置最高的。(replica-priority,默认值为100)
3.选择复制偏移量最大,也就是复制最完整的从节点


哨兵的启动依赖于主从模式,所以须把主从模式安装好的情况下再去做哨兵模式

搭建Redis 哨兵模式

Master节点:192.168.190.10
Slave1节点:192.168.190.20
Slave2节点:192.168.190.30

systemctl stop firewalld
setenforce 0

-----修改 Redis 哨兵模式的配置文件(所有节点操作)-----

vim /opt/redis-5.0.7/sentinel.conf
protected-mode no                                #17行,关闭保护模式
port 26379                                        #21行,Redis哨兵默认的监听端口
daemonize yes                                    #26行,指定sentinel为后台启动
logfile "/var/log/sentinel.log"                    #36行,指定日志存放路径
dir "/var/lib/redis/6379"                        #65行,指定数据库存放路径
sentinel monitor mymaster 192.168.190.10 6379 2    #84行,修改 指定该哨兵节点监控192.168.190.10:6379这个主节点,该主节点的名称是mymaster,最后的2的含义与主节点的故障判定有关:至少需要2个哨兵节点同意,才能判定主节点故障并进行故障转移
sentinel down-after-milliseconds mymaster 30000    #113行,判定服务器down掉的时间周期,默认30000毫秒(30秒)
sentinel failover-timeout mymaster 180000        #146行,故障节点的最大超时时间为180000(180秒)

-----启动哨兵模式-----
先启master,再启slave

cd /opt/redis-5.0.7/
redis-sentinel sentinel.conf &

lsof -i:26379

master

 slave1、slave2

-----查看哨兵信息-----

redis-cli -p 26379 info Sentinel# Sentinel
sentinel_masters:1
sentinel_tilt:0
sentinel_running_scripts:0
sentinel_scripts_queue_length:0
sentinel_simulate_failure_flags:0
master0:name=mymaster,status=ok,address=192.168.190.10:6379,slaves=2,sentinels=3

-----故障模拟-----
#查看redis-server进程号:

[root@master ]# ps -ef |grep redis
root      15899      1  0 10:22 ?        00:00:28 /usr/local/redis/bin/redis-server 0.0.0.0:6379
root      19483      1  0 16:44 ?        00:00:00 redis-sentinel *:26379 [sentinel]
root      19525  19345  0 16:48 pts/0    00:00:00 grep --color=auto redis

#杀死 Master 节点上redis-server的进程号

[root@master ]# kill -9 15899         #Master节点上redis-server的进程号

#验证结果

tail -f /var/log/sentinel.log         #查看哨兵日志

[root@master]# redis-cli -p 26379 INFO Sentinel
# Sentinel
sentinel_masters:1
sentinel_tilt:0
sentinel_running_scripts:0
sentinel_scripts_queue_length:0
sentinel_simulate_failure_flags:0
master0:name=mymaster,status=ok,address=192.168.190.30:6379,slaves=2,sentinels=3

#新master192.168.190.30

--------修改从服务器配置文件-------

原master 192.168.190.10和 slave1 192.168.190.20

vim /etc/redis/6379.conf

replicaof 192.168.190.30 6379        #288行,重新指定要同步的新Master节点IP和端口

#新master 192.168.190.30


三、Redis 群集模式(3主3从)

集群由多个节点(Node)组成,Redis的数据分布在这些节点中。集群中的节点分为主节点和从节点:主节点负责读写请求和集群信息的维护从节点只进行主节点数据同步

集群的作用

(1)数据分区:数据分区(或称数据分片)是集群最核心的功能。
集群将数据分散到多个节点,一方面突破了Redis单机内存大小的限制,存储容量大大增加;另一方面每个主节点都可以对外提供读服务和写服务,大大提高了集群的响应能力
Redis单机内存大小受限问题,在介绍持久化和主从复制时都有提及;例如,如果单机内存太大,bgsave和bgrewriteaof的fork操作可能导致主进程阻塞,主从环境下主机切换时可能导致从节点长时间无法提供服务,全量复制阶段主节点的复制缓冲区可能溢出。

(2)高可用:集群支持主从复制和主节点的自动故障转移(与哨兵类似);当任一节点发生故障时,集群仍然可以对外提供服务。

#Redis集群的主从复制模型
集群中具有A、B、C三个节点,如果节点B失败了,整个集群就会因缺少5461-10922这个范围的槽而不可以用。
为每个节点添加一个从节点A1、B1、C1整个集群便有三个Master节点和三个slave节点组成,在节点B失败后,集群选举B1位为的主节点继续服务。当B和B1都失败后,集群将不可用。

Redis集群的数据分片

Redis集群引入了哈希槽的概念
Redis集群有16384个哈希槽(编号0-16383)(放数据的)
集群的每个节点负责一部分哈希槽
每个Key通过CRC16校验后对16384取余来决定放置哪个哈希槽,通过这个值,去找到对应的插槽所对应的节点,然后直接自动跳转到这个对应的节点上进行存取操作

#以3个节点组成的集群为例:
节点A包含0到5460号哈希槽
节点B包含5461到10922号哈希槽
节点C包含10923到16383号哈希槽

搭建Redis 群集模式 

redis的集群一般需要6个节点,3主3从。工作环境一组主从在一台机器上做

方便起见,这里所有节点在同一台服务器上模拟:
以端口号进行区分:3个主节点端口号:6001/6002/6003,对应的从节点端口号:6004/6005/6006。

cd /etc/redis/
mkdir -p redis-cluster/redis600{1..6}

for i in {1..6}
do
cp /opt/redis-5.0.7/redis.conf /etc/redis/redis-cluster/redis600$i
cp /opt/redis-5.0.7/src/redis-cli /opt/redis-5.0.7/src/redis-server /etc/redis/redis-cluster/redis600$i
done

#开启群集功能:
#其他5个文件夹的配置文件以此类推修改,注意6个端口都要不一样。

cd /etc/redis/redis-cluster/redis6001
vim redis.conf
#bind 127.0.0.1                            #69行,注释掉bind 项,默认监听所有网卡
protected-mode no                        #88行,修改,关闭保护模式
port 6001                                #92行,修改,redis监听端口,
daemonize yes                            #136行,开启守护进程,以独立进程启动
cluster-enabled yes                        #832行,取消注释,开启群集功能
cluster-config-file nodes-6001.conf        #840行,取消注释,群集名称文件设置
cluster-node-timeout 15000                #846行,取消注释群集超时时间设置
appendonly yes                            #700行,修改,开启AOF持久化

#启动redis节点
分别进入那六个文件夹,执行命令:redis-server redis.conf ,来启动redis节点

cd /etc/redis/redis-cluster/redis6001

for d in {1..6}
do
cd /etc/redis/redis-cluster/redis600$d
redis-server redis.conf
done

ps -ef | grep redis

#启动集群

redis-cli --cluster create 127.0.0.1:6001 127.0.0.1:6002 127.0.0.1:6003 127.0.0.1:6004 127.0.0.1:6005 127.0.0.1:6006 --cluster-replicas 1

#六个实例分为三组,每组一主一从,前面3个做主节点,后面3个做从节点。下面交互的时候 需要输入 yes 才可以创建。
--cluster-replicas 1 表示每个主节点必须有1个从节点。

#测试群集

redis-cli -p 6001 -c                    #加 -c 参数,节点之间就可以互相跳转
127.0.0.1:6001> cluster slots            #查看节点的哈希槽编号范围
1) 1) (integer) 5461
   2) (integer) 10922                                    #哈希槽编号范围
   3) 1) "127.0.0.1"
      2) (integer) 6002                                   #主节点IP和端口号
      3) "fdca661922216dd69a63a7c9d3c4540cd6baef44"
   4) 1) "127.0.0.1"
      2) (integer) 6005                                   #从节点IP和端口号
      3) "a2c0c32aff0f38980accd2b63d6d952812e44740"
2) 1) (integer) 0
   2) (integer) 5460                                    
   3) 1) "127.0.0.1"
      2) (integer) 6001                   #主节点IP和端口号
      3) "0e5873747a2e26bdc935bc76c2bafb19d0a54b11"
   4) 1) "127.0.0.1"
      2) (integer) 6004                    #从节点IP和端口号
      3) "8842ef5584a85005e135fd0ee59e5a0d67b0cf8e"
3) 1) (integer) 10923
   2) (integer) 16383
   3) 1) "127.0.0.1"
      2) (integer) 6003                         #主节点IP和端口号
      3) "816ddaa3d1469540b2ffbcaaf9aa867646846b30"
   4) 1) "127.0.0.1"
      2) (integer) 6006                          #从节点IP和端口号
      3) "f847077bfe6722466e96178ae8cbb09dc8b4d5eb"

127.0.0.1:6001> set name yss
-> Redirected to slot [5798] located at 127.0.0.1:6002        #主节点端口号6002,对应从节点端口号6005
OK

127.0.0.1:6001> cluster keyslot name                    #查看name键的槽编号

redis-cli -p 6005 -c
127.0.0.1:6004> keys *                            #对应的slave节点也有这条数据,但是别的节点没有
1) "name"

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/427710.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

集采良药:从“天价神药”到低价良药,伊马替尼的真实世界研究!

在医疗科技日新月异的今天,有一种药物以其卓越的疗效和深远的影响力,成为了众多患者心中的“精准武器”——伊马替尼。这款药物不仅在慢性髓细胞白血病(CML)的治疗上屡创佳绩,更是胃肠道间质瘤(GIST&#x…

哪个牌子的护眼台灯性价比高?网上排名前列的护眼台灯推荐

现在市面上形形色色的打着“护眼”口号的台灯太多了,因为眼睛对于我们来说很重要,我们看到美丽的事物都因为有他,所以大家一听到护眼就会选择购买。很多商家为了赚钱,随便贴个标签就说护眼,其实一点用都没有。哪个牌子…

AJAX Jquery $.get $.post $.getJSON

AJAX AJAX Asynchronous JavaScript and XML (异步的J avascript和XML)。 Ajax $.ajax <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, in…

828华为云征文|基于华为云Flexus云服务器X实现个人博客搭建

文章目录 ❀前言❀部署前准备❀宝塔安装❀安全组开放❀web访问验证❀安装docker❀安装wordpress❀安全组开放18040端口❀访问博客网址❀发布个人博客❀总结 ❀前言 大家好&#xff0c;我是早九晚十二。 近期华为云推出了最新的华为云Flexus云服务器X&#xff0c;这款云主机在算…

服务器自动巡检(Server automatic inspection)

&#x1f49d;&#x1f49d;&#x1f49d;欢迎来到我的博客&#xff0c;很高兴能够在这里和您见面&#xff01;希望您在这里可以感受到一份轻松愉快的氛围&#xff0c;不仅可以获得有趣的内容和知识&#xff0c;也可以畅所欲言、分享您的想法和见解。 推荐:Linux运维老纪的首页…

Microsoft Edge 五个神级插件

&#x1f423;个人主页 可惜已不在 &#x1f424;这篇在这个专栏 插件_可惜已不在的博客-CSDN博客 &#x1f425;有用的话就留下一个三连吧&#x1f63c; 目录 Microsoft Edge 一.安装游览器 ​编辑 二.找到插件商店 1.打开游览器后&#xff0c;点击右上角的设置&#x…

BLE 协议之链路层

目录 一、前言二、状态和角色三、Air Interface Packets1、Preamble 字段2、Access Address 字段2.1 静态地址2.2 私有地址 3、PDU 字段3.1 Advertising Channel PDU3.1.1 Header 字段3.1.2 Payload 字段 3.2 Data Channel PDU3.2.1 Header 字段3.2.2 Payload 字段 4、CRC 字段…

STM32上实现FFT算法精准测量正弦波信号的幅值、频率和相位差(标准库)

在研究声音、电力或任何形式的波形时&#xff0c;我们常常需要穿过表面看本质。FFT&#xff08;快速傅里叶变换&#xff09;就是这样一种强大的工具&#xff0c;它能够揭示隐藏在复杂信号背后的频率成分。本文将带你走进FFT的世界&#xff0c;了解它是如何将时域信号转化为频域…

【微信小程序】搭建项目步骤 + 引入Tdesign UI

目录 创建1个空文件夹&#xff0c;选择下图基础模板 开启/支持sass 创建公共style文件并引入 引入Tdesign UI: 1. 初始化&#xff1a; 2. 安装后&#xff0c;开发工具进行构建&#xff1a; 3. 修改 app.json 4. 使用 5. 自定义主题色 创建1个空文件夹&#xff0c;选择下…

初始c++:入门基础(完结)

打字不易&#xff0c;留个赞再走吧~~~ 目录 一函数重载二引用1 引⽤的概念和定义2引⽤的特性3引⽤的使⽤三inline四nullptr 一函数重载 C⽀持在同⼀作⽤域中出现同名函数&#xff0c;但是要求这些同名函数的形参不同&#xff0c;可以是参数个数不同或者 类型不同。这样C函数调⽤…

FPGA随记-二进制转格雷码

反射二进制码&#xff08;RBC&#xff09;&#xff0c;也称为反射二进制&#xff08;RB&#xff09;或格雷码&#xff08;Gray code&#xff09;&#xff0c;得名于Frank Gray&#xff0c;是二进制数制的一种排列方式&#xff0c;使得连续两个值之间仅有一个比特&#xff08;二…

【Python进阶】requests库有哪些常用的参数和方法?一篇文章带你详细了解!!!附带源码

常用的requests库参数和方法 常用方法 requests库中定义了多个常用的请求方法&#xff0c;其中requests.get()和requests.post()是最常用的方法。这些方法对应于HTTP协议中的GET和POST方法。 requests.get(url, paramsNone, **kwargs): 用于发送GET请求。requests.post(url…

【高阶数据结构】二叉搜索树的插入、删除和查找(精美图解+完整代码)

&#x1f921;博客主页&#xff1a;醉竺 &#x1f970;本文专栏&#xff1a;《高阶数据结构》 &#x1f63b;欢迎关注&#xff1a;感谢大家的点赞评论关注&#xff0c;祝您学有所成&#xff01; ✨✨&#x1f49c;&#x1f49b;想要学习更多《高阶数据结构》点击专栏链接查看&a…

Mysql梳理6——order by排序

目录 6 order by排序 6.1 排序数据 6.2 单列排序 6.3 多行排列 6 order by排序 6.1 排序数据 使用ORDER BY字句排序 ASC&#xff08;ascend&#xff09;:升序DESC(descend):降序 ORDER BY子句在SELECT语句的结尾 6.2 单列排序 如果没有使用排序操作&#xff0c;默认…

一、桥式整流电路

桥式整流电路 1、二极管的单向导电性: 伏安特性曲线: 理想开关模型和恒压降模型 2、桥式整流电流流向过程 输入输出波形: 3、计算:Vo,lo,二极管反向电压。 学习心得

十三,Spring Boot 中注入 Servlet,Filter,Listener

十三&#xff0c;Spring Boot 中注入 Servlet&#xff0c;Filter&#xff0c;Listener 文章目录 十三&#xff0c;Spring Boot 中注入 Servlet&#xff0c;Filter&#xff0c;Listener1. 基本介绍2. 第一种方式&#xff1a;使用注解方式注入&#xff1a;Servlet&#xff0c;Fil…

【C++】——多态详解

目录 1、什么是多态&#xff1f; 2、多态的定义及实现 2.1多态的构成条件 ​2.2多态语法细节处理 2.3协变 2.4析构函数的重写 2.5C11 override 和 final关键字 2.6重载—重写—隐藏的对比分析 3、纯虚函数和抽象类 4、多态的原理分析 4.1多态是如何实现的 4.2虚函数…

OpenCV 2

目录 图像平滑处理 高斯与中值滤波 图像阈值 ​编辑 Canny边缘检测 非极大值抑制 边缘检测效果 轮廓检测方法 ​编辑 ​编辑​编辑 轮廓检测结果 轮廓特征与近似 图像平滑处理 以上两种出来的图片效果 以上的效果&#xff0c;因为填的是normalize False&#xff0c;越界…

零基础到项目实战:Node.js版Selenium WebDriver教程

在当今数字化时代&#xff0c;Web应用程序的质量和性能至关重要。为了确保这些应用的可靠性&#xff0c;自动化测试成为一种不可或缺的工具。Selenium&#xff0c;作为自动化测试领域的瑰宝&#xff0c;为我们提供了无限可能。本教程将深入介绍Selenium&#xff0c;以及如何结合…