高可用集群keepalived从部署到实战一篇解决

一.高可用集群

1.1 集群类型

1.2 系统可用性

1.3 系统故障

1.4 实现高可用

1.5.VRRP：

1.5.1 VRRP 相关术语

1.5.2 VRRP 相关技术

二.Keepalived 部署

2.1 keepalived 简介

2.2keepalived架构

2.3 Keepalived 环境准备

2.4 Keepalived 相关文件

2.5 Keepalived 安装

2.6 KeepAlived 配置说明

配置文件组成部分

配置语法说明：

全局配置

配置虚拟路由器

示例：

启用keepalived日志功能

实现独立子配置文件

三：实战

环境

1.实现IPVS的高可用性

虚拟服务器配置结构

虚拟服务器配置

检测功能块

步骤：

第一步：先给web服务器的环回端口添加VIP

第二步：设置两个web服务器的ARP功能

第三步：配置两个web服务的首页

第四步配置：配置两台keepalived的调度规则

查看调度策略：

最后效果：

2.实战案例：实现HAProxy高可用

第一步：下载HAProxy软件

第二步：配置策略

第三步：配置检测脚本

第四步：在keepalive上配置监控

第五步：测试

一.高可用集群

1.1 集群类型

LB：Load Balance 负载均衡

LVS/HAProxy/nginx（http/upstream, stream/upstream）

HA：High Availability 高可用集群

数据库、Redis

SPoF: Single Point of Failure，解决单点故障

HPC：High Performance Computing 高性能集群

1.2 系统可用性

SLA：Service-Level Agreement 服务等级协议（提供服务的企业与客户之间就服务的品质、水准、性能等方面所达成的双方共同认可的协议或契约）

A = MTBF / (MTBF+MTTR）（正常运行时间/正常+故障）

99.95%:(60*24*30)*(1-0.9995)=21.6分钟 #一般按一个月停机时间统计

指标：99.9%, 99.99%, 99.999%,99.9999%

1.3 系统故障

硬件故障：设计缺陷、wear out（损耗）、非人为不可抗拒因素

软件故障：设计缺陷 bug

1.4 实现高可用

提升系统高用性的解决方案：降低MTTR- Mean Time To Repair(平均故障时间)

解决方案：建立冗余机制

active/passive 主/备
active/active 双主
active --> HEARTBEAT --> passive 
active <--> HEARTBEAT <--> active

1.5.VRRP：

Virtual Router Redundancy Protocol

虚拟路由冗余协议,解决静态网关单点风险

实质：解决调度器发生故障时的方案，设置一个VIP，两个调度器（两个调度器有自己的IP），将VIP分发给其中一个调度器，客户端访问VIP。当这个调度器挂了，VIP分发给另外一个调度器。通过组播通告自己的健康状态（HEARTBEAT）

物理层:路由器、三层交换机
软件层:keepalived

1.5.1 VRRP 相关术语

虚拟路由器：Virtual Router

虚拟路由器标识：VRID(0-255)唯一标识虚拟路由器

VIP：Virtual IP

VMAC：Virutal MAC (00-00-5e-00-01-VRID)

物理路由器：

master：主设备
backup：备用设备
priority：优先级

1.5.2 VRRP 相关技术

通告：心跳，优先级等；周期性

工作方式：抢占式，非抢占式

安全认证：

无认证
简单字符认证：预共享密钥
MD5

工作模式：

主/备：单虚拟路由器

主/主：主/备（虚拟路由器1），备/主（虚拟路由器2）互为主备

二.Keepalived 部署

2.1 keepalived 简介

vrrp 协议的软件实现，原生设计目的为了高可用 ipvs服务

官网：Keepalived for Linux

功能：

基于vrrp协议完成地址流动
为vip地址所在的节点生成ipvs规则(在配置文件中预先定义)
为ipvs集群的各RS做健康状态检测
基于脚本调用接口完成脚本中定义的功能，进而影响集群事务，以此支持nginx、haproxy等服务

2.2keepalived架构

用户空间核心组件：
vrrp stack：VIP消息通告
checkers：监测real server
system call：实现 vrrp 协议状态转换时调用脚本的功能
SMTP：邮件组件
IPVS wrapper：生成IPVS规则
Netlink Reflector：网络接口
WatchDog：监控进程
控制组件：提供keepalived.conf 的解析器，完成Keepalived配置
IO复用器：针对网络目的而优化的自己的线程抽象
内存管理组件：为某些通用的内存管理功能（例如分配，重新分配，发布等）提供访问权限

2.3 Keepalived 环境准备

2.4 Keepalived 相关文件

软件包名：keepalived
主程序文件：/usr/sbin/keepalived
主配置文件：/etc/keepalived/keepalived.conf
配置文件示例：/usr/share/doc/keepalived/
Unit File：/lib/systemd/system/keepalived.service
Unit File的环境配置文件：/etc/sysconfig/keepalived

2.5 Keepalived 安装

安装 keepalived

[root@KA1 ~]# dnf install keepalived -y
[root@KA1 ~]# systemctl start keepalived
[root@KA1 ~]# ps axf | grep keepalived2385 pts/0   S+     0:00             \_ grep --color=auto keepalived2326 ?       Ss     0:00 /usr/sbin/keepalived -D2327 ?       S     0:00 \_ /usr/sbin/keepalived -D

2.6 KeepAlived 配置说明

配置文件组成部分

配置文件：/etc/keepalived/keepalived.conf
配置文件组成
GLOBAL CONFIGURATION
Global definitions： 定义邮件配置，route_id，vrrp配置，多播地址等
VRRP CONFIGURATION
VRRP instance(s)： 定义每个vrrp虚拟路由器
LVS CONFIGURATION
Virtual server group(s)
Virtual server(s)： LVS集群的VS和RS

配置语法说明：

全局配置

! Configuration File for keepalived
global_defs {notification_email {594233887@qq.com #keepalived 发生故障切换时邮件发送的目标邮箱，可以按行区
分写多个timiniglee-zln@163.com}notification_email_from keepalived@KA1.timinglee.org #发邮件的地址smtp_server 127.0.0.1 #邮件服务器地址smtp_connect_timeout 30 #邮件服务器连接timeoutrouter_id KA1.timinglee.org #每个keepalived主机唯一标识#建议使用当前主机名，但多节点
重名不影响vrrp_skip_check_adv_addr #对所有通告报文都检查，会比较消耗性能#启用此配置后，如果收到的通告报文和上一
个报文是同一 #个路由器，则跳过检查，默认
值为全检查vrrp_strict #严格遵循vrrp协议#启用此项后以下状况将无法启动服务:#1.无VIP地址 #2.配置了单播邻居 #3.在VRRP版本2中有IPv6地址#建议不加此项配置vrrp_garp_interval 0 #报文发送延迟，0表示不延迟vrrp_gna_interval 0 #消息发送延迟vrrp_mcast_group4 224.0.0.18 #指定组播IP地址范围： }

配置虚拟路由器

vrrp_instance VI_1 {state MASTERinterface eth0 #绑定为当前虚拟路由器使用的物理接口，如：eth0,可以和VIP不在一
个网卡virtual_router_id 51 #每个虚拟路由器惟一标识,范围：0-255，每个虚拟路由器此值必须唯一#否则服务无法启动#同属一个虚拟路由器的多个keepalived节点必须相同#务必要确认在同一网络中此值必须唯一priority 100 #当前物理节点在此虚拟路由器的优先级，范围：1-254#值越大优先级越高,每个keepalived主机节点此值不同advert_int 1 #vrrp通告的时间间隔，默认1sauthentication { #认证机制auth_type AH|PASS #AH为IPSEC认证(不推荐),PASS为简单密码(建议使用)uth_pass 1111 #预共享密钥，仅前8位有效#同一个虚拟路由器的多个keepalived节点必须一样}virtual_ipaddress { #虚拟IP,生产环境可能指定上百个IP地址<IPADDR>/<MASK> brd <IPADDR> dev <STRING> scope <SCOPE> label <LABEL>172.25.254.100 #指定VIP，不指定网卡，默认为eth0,注意：不指定/prefix,默认32172.25.254.101/24 dev eth1172.25.254.102/24 dev eth2 label eth2:1}
}

示例：

#配置master端
[root@KA1 ~]# vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {notification_email {181766@qq.com}notification_email_from keepalived@KA1.timinglee.orgsmtp_server 127.0.0.1smtp_connect_timeout 30router_id KA1.timinglee.orgvrrp_skip_check_adv_addr#vrrp_strict #nft list rulesetvrrp_garp_interval 0vrrp_gna_interval 0vrrp_mcast_group4 224.0.0.18
}
vrrp_instance VI_1 {state MASTERinterface eth0virtual_router_id 20priority 100advert_int 1authentication {auth_type PASSauth_pass 1111}virtual_ipaddress {172.25.254.100/24 dev eth0 label eth0:0}
}
配置slave端
[root@KA2 ~]# vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {notification_email {2.6.2.3 启用keepalived日志功能 
示例：1817660707@qq.com}notification_email_from keepalived@timinglee.orgsmtp_server 127.0.0.1smtp_connect_timeout 30router_id KA2.timinglee.orgvrrp_skip_check_adv_addr#vrrp_strictvrrp_garp_interval 0vrrp_gna_interval 0vrrp_mcast_group4 224.0.0.18
}
vrrp_instance VI_1 {state BACKUPinterface eth0virtual_router_id 20 #相同id管理同一个虚拟路由priority 80 #低优先级advert_int 1authentication {auth_type PASSauth_pass 1111}virtual_ipaddress {172.25.254.100/24 dev eth0 label eth0:0}
}
测试
[root@KA2 ~]# tcpdump -i eth0 -nn host 224.0.0.18
dropped privs to tcpdump
tcpdump: verbose output suppressed, use -v[v]... for full protocol decode
listening on eth0, link-type EN10MB (Ethernet), snapshot length 262144 bytes
22:48:23.294894 IP 172.25.254.20 > 224.0.0.18: VRRPv2, Advertisement, vrid 20, 
prio 100, authtype none, intvl 1s, length 20
22:48:24.084793 IP 172.25.254.30 > 224.0.0.18: VRRPv2, Advertisement, vrid 30, 
prio 80, authtype none, intvl 1s, length 20
22:48:24.295075 IP 172.25.254.20 > 224.0.0.18: VRRPv2, Advertisement, vrid 20, 
prio 100, authtype none, intvl 1s, length 20
22:48:25.085256 IP 172.25.254.30 > 224.0.0.18: VRRPv2, Advertisement, vrid 30, 
prio 80, authtype none, intvl 1s, length 20
22:48:25.296296 IP 172.25.254.20 > 224.0.0.18: VRRPv2, Advertisement, vrid 20, 
prio 100, authtype none, intvl 1s, length 20

启用keepalived日志功能

[root@KA1 ~]# vim /etc/sysconfig/keepalived
KEEPALIVED_OPTIONS="-D -S 6"
[root@ka1 ~]#vim /etc/rsyslog.conf2.6.2.4 实现独立子配置文件 
当生产环境复杂时， /etc/keepalived/keepalived.conf 文件中内容过多，不易管理
将不同集群的配置，比如：不同集群的VIP配置放在独立的子配置文件中利用include 指令可以实现包含
子配置文件
格式：
示例：
local6.*                                               /var/log/keepalived.log 
[root@ka1 ~]#systemctl restart keepalived.service rsyslog.service 
[root@ka1 ~]#tail -f /var/log/keepalived.log 
Apr 14 09:25:51 ka1 Keepalived_vrrp[1263]: Sending gratuitous ARP on eth0 for
10.0.0.10
Apr 14 09:25:51 ka1 Keepalived_vrrp[1263]: Sending gratuitous ARP on eth0 for
10.0.0.10
Apr 14 09:25:51 ka1 Keepalived_vrrp[1263]: Sending gratuitous ARP on eth0 for
10.0.0.10

实现独立子配置文件

当生产环境复杂时， /etc/keepalived/keepalived.conf 文件中内容过多，不易管理

将不同集群的配置，比如：不同集群的VIP配置放在独立的子配置文件中利用include 指令可以实现包含子配置文件

格式：

include /path/file

示例：

[root@KA1 ~]# mkdir /etc/keepalived/conf.d
[root@KA1 ~]# vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {notification_email {1817660707@qq.com}notification_email_from keepalived@www.wang.orgsmtp_server 127.0.0.1smtp_connect_timeout 30router_id KA1.timinglee.orgvrrp_skip_check_adv_addrvrrp_strictvrrp_garp_interval 0vrrp_gna_interval 0vrrp_ipsets keepalivedvrrp_iptables
}
include /etc/keepalived/conf.d/*.conf #相关子配置文件
[root@KA1 ~]# vim /etc/keepalived/conf.d/router.conf
vrrp_instance VI_1 {state MASTERinterface eth0virtual_router_id 20priority 100advert_int 1authentication {auth_type PASSauth_pass 1111}virtual_ipaddress {172.25.254.100/24 dev eth0 label eth0:0}
}

三：实战

环境

1.实现IPVS的高可用性

使用keepalived的配置可以取代LVS的配置而且增加了后端检测的功能，如果你想查看LVS的调度策略可以下载ipvsadm

虚拟服务器配置结构

virtual_server IP port {... #中间写用户要访问的VIPreal_server {...  #中间写要调度到的真实服务器的IP}real_server {...  #中间写要调度到的真实服务器的IP}…
}

虚拟服务器配置

virtual_server IP port { #VIP和PORTdelay_loop <INT> #检查后端服务器的时间间隔lb_algo rr|wrr|lc|wlc|lblc|sh|dh #定义调度方法lb_kind NAT|DR|TUN #集群的类型,注意要大写persistence_timeout <INT> #持久连接时长protocol TCP|UDP|SCTP #指定服务协议,一般为TCPsorry_server <IPADDR> <PORT> #所有RS故障时，备用服务器地址real_server <IPADDR> <PORT> {          #RS的IP和PORTweight <INT>   #RS权重notify_up <STRING>|<QUOTED-STRING>   #RS上线通知脚本notify_down <STRING>|<QUOTED-STRING> #RS下线通知脚本HTTP_GET|SSL_GET|TCP_CHECK|SMTP_CHECK|MISC_CHECK { ... } #定义当前主机健康状
态检测方法}
}
#注意:括号必须分行写,两个括号写在同一行,如: }} 会出错

检测功能块

应用层检测：HTTP_GET|SSL_GET

HTTP_GET|SSL_GET {url {path <URL_PATH> #定义要监控的URLstatus_code <INT> #判断上述检测机制为健康状态的响应码，一般为 200}connect_timeout <INTEGER> #客户端请求的超时时长, 相当于haproxy的timeout servernb_get_retry <INT> #重试次数delay_before_retry <INT> #重试之前的延迟时长connect_ip <IP ADDRESS> #向当前RS哪个IP地址发起健康状态检测请求connect_port <PORT> #向当前RS的哪个PORT发起健康状态检测请求bindto <IP ADDRESS> #向当前RS发出健康状态检测请求时使用的源地址bind_port <PORT> #向当前RS发出健康状态检测请求时使用的源端口
}

传输层检测：TCP_CHECK

TCP_CHECK {connect_ip <IP ADDRESS> #向当前RS的哪个IP地址发起健康状态检测请求connect_port <PORT> #向当前RS的哪个PORT发起健康状态检测请求bindto <IP ADDRESS> #发出健康状态检测请求时使用的源地址bind_port <PORT> #发出健康状态检测请求时使用的源端口connect_timeout <INTEGER> #客户端请求的超时时长#等于haproxy的timeout server   
}

步骤：

第一步：先给web服务器的环回端口添加VIP

[root@rs1 ~]# ip a a 172.25.250.100/32 dev lo
[root@rs2 ~]# ip a a 172.25.250.100/32 dev lo

第二步：设置两个web服务器的ARP功能

[root@rs1 ~]# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
[root@rs1 ~]# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
[root@rs1 ~]# echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
[root@rs1 ~]# echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
[root@rs2 ~]# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
[root@rs2 ~]# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
[root@rs2 ~]# echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
[root@rs2 ~]# echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce

第三步：配置两个web服务的首页

[root@rs1 ~]# yum install httpd -y
[root@rs2 ~]# yum install httpd -y
[root@rs1 ~]# echo "welcome to web1" > /var/www/html/index.html
[root@rs2 ~]# echo "welcome to web2" > /var/www/html/index.html

第四步配置：配置两台keepalived的调度规则

[root@ka1 ~]# yum install keepalived.x86_64 -y
[root@ka2 ~]# yum install keepalived.x86_64 -y
[root@ka1 ~]# yum install ipvsadm.x86_64 -y
[root@ka2 ~]# yum install ipvsadm.x86_64 -y

配置虚拟路由器的相关配置

关闭严格模式

配置调度规则：

ka1上

virtual_server 172.25.250.100 80{delay_loop 6lb_algo wrrlb_kind DRprotocol TCPreal_server 172.25.250.110 80{weight 1http_GET {url {path /status_code 200}connect_timeout 1nb_get_retry 2delay_before_retry 2}}real_server 172.25.250.120 80{weight 1http_GET {url {path /status_code 200}connect_timeout 1nb_get_retry 2delay_before_retry 2}}
}

ka2上也是差不多的设置

查看调度策略：

配完keepalive的文件策略自动就有了

最后效果：

关闭其中一个keepalive再访问：

[root@ka1 ~]# systemctl stop keepalived.service

还是不会断，因为VIP到另外一台调度器上去了

而且keepalived还提供后端检测，如果web服务器挂了，调度器会自动跟新调度策略

[root@rs2 ~]# systemctl stop httpd
[root@ka2 ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags-> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  172.25.250.100:80 wrr-> 172.25.250.110:80            Route   1      0          0         
TCP  192.168.200.100:443 rr persistent 50
TCP  10.10.10.2:1358 rr persistent 50-> 192.168.200.200:1358         Masq    1      0          0

2.实战案例：实现HAProxy高可用

辅助HAProxy实现高可用负载均衡集群

首先把上个实验的操作都恢复，保证一个纯净实验环境

KA1和KA2上都差不多只需要改一下主备和优先级就行。

实验原理：通过VRRP Script 技术，keepalive监控脚本，如果haproxy死亡，会返回状态码非零，Script技术会降低本虚拟路由器的优先级，使得VIP飘到另外一台keepalive服务器上

第一步：下载HAProxy软件

[root@ka1 ~]# yum install haproxy.x86_64  -y
[root@ka2 ~]# yum install haproxy.x86_64  -y

第二步：配置策略

重启服务

[root@ka1 ~]# systemctl restart haproxy.service

第三步：配置检测脚本

[root@ka1 ~]# vim /etc/keepalived/haproxy.sh

给执行权限

[root@ka1 ~]# chmod +x /etc/keepalived/haproxy.sh

第四步：在keepalive上配置监控

第五步：测试

同时关闭其中一台调度器看访问是否会断

因为vip到了ka2这台调度器上所以访问100还是不会断，

当你重新开启haproxy服务，检测脚本会检测到，而后恢复本服务器的优先级，VIP重新回到本服务器。