Redis中的主从/Redis八股

四、Redis主从

1.搭建主从架构

在这里插入图片描述

不像是负载均衡，这里是主从，是因为redis大多数是读少的是写

步骤

搭建实例（建设有三个实例，同一个ip不同端口号）

1）创建目录

我们创建三个文件夹，名字分别叫7001、7002、7003：

# 进入/tmp目录
cd /tmp
# 创建目录
mkdir 7001 7002 7003

2）恢复原始配置

修改redis-6.2.4/redis.conf文件，将其中的持久化模式改为默认的RDB模式，AOF保持关闭状态。

# 开启RDB
# save ""
save 3600 1
save 300 100
save 60 10000# 关闭AOF
appendonly no

3）拷贝配置文件到每个实例目录

然后将redis-6.2.4/redis.conf文件拷贝到三个目录中（在/tmp目录执行下列命令）：

# 方式一：逐个拷贝
cp redis-6.2.4/redis.conf 7001
cp redis-6.2.4/redis.conf 7002
cp redis-6.2.4/redis.conf 7003# 方式二：管道组合命令，一键拷贝
echo 7001 7002 7003 | xargs -t -n 1 cp redis-6.2.4/redis.conf

4）修改每个实例的端口、工作目录

修改每个文件夹内的配置文件，将端口分别修改为7001、7002、7003，将rdb文件保存位置都修改为自己所在目录（在/tmp目录执行下列命令）：

sed -i -e 's/6379/7001/g' -e 's/dir .\//dir \/tmp\/7001\//g' 7001/redis.conf
sed -i -e 's/6379/7002/g' -e 's/dir .\//dir \/tmp\/7002\//g' 7002/redis.conf
sed -i -e 's/6379/7003/g' -e 's/dir .\//dir \/tmp\/7003\//g' 7003/redis.conf

5）修改每个实例的声明IP

虚拟机本身有多个IP，为了避免将来混乱，我们需要在redis.conf文件中指定每一个实例的绑定ip信息，格式如下：

# redis实例的声明 IP
replica-announce-ip 192.168.202.132

6）每个目录都要改，我们一键完成修改（在/tmp目录执行下列命令）：

# 逐一执行
sed -i '1a replica-announce-ip 192.168.150.101' 7001/redis.conf
sed -i '1a replica-announce-ip 192.168.150.101' 7002/redis.conf
sed -i '1a replica-announce-ip 192.168.150.101' 7003/redis.conf# 或者一键修改
printf '%s\n' 7001 7002 7003 | xargs -I{} -t sed -i '1a replica-announce-ip 192.168.150.101' {}/redis.conf

启动

# 第1个
redis-server 7001/redis.conf
# 第2个
redis-server 7002/redis.conf
# 第3个
redis-server 7003/redis.conf

停止

printf '%s\n' 7001 7002 7003 | xargs -I{} -t redis-cli -p {} shutdown

开启主从

slaveof <masterip> <masterport># 查看状态
info replication

2.数据同步原理

主从第一次同步是全量同步：
- 通过rdb文件传输
- 通过内存产生快照，并在子进程生成RDB的时候，主进程把新的指令写入repl_baklog中，后续发送给slave，方便同步最新数据。
- 因为是一次全部同步，数据量会很大，速度会慢
- replication buffer是直接传输给slave的缓存，是只有多个的，详情可以在增量同步中理解（这里和黑马的不一样，比黑马的详细）
master如何知道slave是第一次同步？
- 通过Replication ：简称replid，是数据集的标记，id一致则说明是同一数据集。每一个master都有唯一的replid
- offset:偏移量，随着记录在repl baklog中的数据增多而逐渐增大。slave完成同步时也会记录当前同步的offset。
  如果slave的offset小正master的offset，说明slave数据落后于master，需要更新。
  
  因此slave做数据同步，必须向master声明自己的replicationid和offset，master才可以判断到底需要同步哪些数据
总结

3.增量同步

流程
- repl_baklog是一个数组，环形数组，记录对应子节点的传输进度，所以所有多个的
- replication buffer是直接传输给slave的缓存，是有多个的。
- slave和matser相差太大，就无法同步了
  
  快记满，把尚未备份的数据给覆盖了，就无法增量同步了，只能去做全量同步

优化Redis主从同步
- 在master中配置repl-diskless-sync yes启用无磁盘复制，避免全量同步时的磁盘IO
  
  在redis.conf中操作，正常是在磁盘IO流中写rdb文件然后再发到网络的IO流中。无磁盘复制就算不在磁盘中写直接在网络IO流里写，然后发。
  
  传统复制方式:
```
内存数据 -> 写入磁盘(RDB文件) -> 读取磁盘 -> 网络发送
```
  无磁盘复制方式:
```
内存数据 -> 直接写入网络流(RDB格式)
```
  1. 传统方式中:
    - RDB文件在磁盘上是完整的，读取时可以用较大的块进行读取
    - 网络发送时可以更好地控制发送速度和缓冲
  2. 无磁盘复制时:
    - Redis需要一边生成RDB格式数据，一边往网络写
    - 如果网络写入速度跟不上RDB生成速度，数据会在内存中积压
    - 网络传输如果出现波动或延迟，没有磁盘作为缓冲，整个过程就会变得不稳定
  打个比方:
  - 传统方式就像是先把货物打包好放在仓库(磁盘)，需要时直接整车发送
  - 无磁盘方式则像是生产线直接往车上装货，如果道路堵车，货物就会在生产线上积压
- Redis单节点上的内存占用不要太大，减少RDB导致的过多磁盘IO
- 适当提高repl baklog的大小，发现slave宕机时尽快实现故障恢复，尽可能避免全量同步
- 限制一个master上的slave节点数量，如果实在是太多slave，则可以采用主-从-从链式结构，减少master压力
总结

4.replication buffer 和 repl backlog buffer 的区别

replication buffer：

因为不同的从节点同步速度不一样，主节点会为每个从节点都创建一个replication buffer，它用于实时传输写命令，且大小是动态的，因为对于同步速度较慢的从服务器，需要更多的内存来缓存数据。
虽说 replication buffer 没有明确的大小限制，但是可以通过 client-output-buffer-1imit 间接控制，该参数可以设置不同类型客户端(普通、从服务器、发布订阅)的输出缓冲区限制。当缓)中区大小超过限制时，Redis 会断开与客户端(从节点其实就是一个客户端)的连接。
client-output-buffer-limit slave 256mb 64mb 60
上述配置表示，如果从服务器的输出缓,中区大小超过 256 MB 或超过 64 MB 的时间达到 60s，Redis 将断开与从服务器的连接
repl backlog buffer：
repl_backlog_buffer 在主节点上只有一个，存储最近的写命令，用于从服务器重新连接时进行部分重同步