【LVS实战】04 LVS+Keepalived实现负载均衡高可用

一、介绍

Keepalived 是一个用于 Linux 平台的高可用性软件。它实现了虚拟路由器冗余协议 (VRRP) 和健康检查功能，可以用于确保在多台服务器之间提供服务的高可用性。Keepalived 可以检测服务器的故障，并在主服务器宕机时，自动将备份服务器提升为主服务器，确保服务的持续性和可用性。

Keepalived 可以在主备服务器之间动态分配虚拟 IP 地址，使客户端能够在主备服务器之间无缝切换，提高服务的可用性。此外，Keepalived 还支持基于文本文件的配置和基于 SNMP 的监控。它可以与常用的负载均衡器配合使用，如 HAProxy、Nginx 等。

总的来说，Keepalived 是一个功能强大的工具，可用于提供高可用性服务。它是一个免费的开源软件，广泛应用于企业和个人服务器环境中。

在这里插入图片描述

IP	名称	备注
10.1.0.7	LVS负载均衡器（备）	VIP->10.1.0.5
10.1.0.8	LVS负载均衡器（主）	VIP->10.1.0.5
10.1.0.9	Web01节点
10.1.0.10	Web02节点
10.1.0.1	内网客户端

二、软件安装

2.1 LVS负载均衡器主和备安装LVS软件

在此之前，先把每台机器防火墙关闭

systemctl stop firewalld

yum -y install ipvsadm

2.2 两台Web服务器安装Web服务

yum install httpd -y
cd /var/www/html
echo "from ooxxip" > index.html
service httpd start

本实验是用docker安装的nginx，也可以

2.3 LVS负载均衡器主和备安装Keepalived软件

[root@lvs01 ~]# yum -y install keepalived

基本操作

# 安装
yum install keepalived -y
# 启动
service keepalived start
# 配置文件位置
/etc/keepalived/keepalived.conf

三、RS准备工作

3.1 手工在RS端绑定lo网卡及抑制ARP

在RS上配置VIP，切记(DR模式)不要忘了在RS配置VIP,要不然数据包会被丢弃

[root@localhost ~]#  ifconfig lo:0 10.1.0.5/32 up
[root@localhost ~]# ifconfig lo:0

3.2 添加路由

[root@localhost ~]# route add -host 10.1.0.5 dev lo
[root@localhost ~]# route -n | grep 10.1.0.5
10.1.0.5        0.0.0.0         255.255.255.255 UH    0      0        0 lo

3.3 手工在RS端抑制ARP响应

执行下面四句命令

echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce

四、配置Keepalived主备

4.1 仅实现LVS负载均衡器主和备的keepalived高可用功能

配置文件位置: /etc/keepalived/keepalived.conf
LVS负载均衡器主的keepalived配置文件内容如下
主节点配置：


global_defs {notification_email {acassen@firewall.locfailover@firewall.locsysadmin@firewall.loc}notification_email_from Alexandre.Cassen@firewall.locsmtp_server 192.168.200.1smtp_connect_timeout 30router_id LVS_DEVELvrrp_skip_check_adv_addrvrrp_garp_interval 0vrrp_gna_interval 0
}vrrp_instance VI_1 {state MASTERinterface enp0s8virtual_router_id 51priority 100advert_int 1authentication {auth_type PASSauth_pass 1111}virtual_ipaddress {10.1.0.5/32 dev enp0s8 label enp0s8:0}
}virtual_server 10.1.0.5 80  {delay_loop 6lb_algo rrlb_kind DRpersistence_timeout 50protocol TCPreal_server 10.1.0.9 80 {weight 1TCP_CHECK {                 connect_timeout 10      nb_get_retry 3          delay_before_retry 3    connect_port 80}}real_server 10.1.0.10 80 {weight 1TCP_CHECK {                 connect_timeout 10      nb_get_retry 3          delay_before_retry 3    connect_port 80}}
}

从节点配置：复制一份修改好的配置到从主机，修改 1、state BACKUP，2、priority 50


global_defs {notification_email {acassen@firewall.locfailover@firewall.locsysadmin@firewall.loc}notification_email_from Alexandre.Cassen@firewall.locsmtp_server 192.168.200.1smtp_connect_timeout 30router_id LVS_DEVELvrrp_skip_check_adv_addrvrrp_garp_interval 0vrrp_gna_interval 0
}vrrp_instance VI_1 {state BACKUPinterface enp0s8virtual_router_id 51priority 50advert_int 1authentication {auth_type PASSauth_pass 1111}virtual_ipaddress {10.1.0.5/32 dev enp0s8 label enp0s8:0}
}virtual_server 10.1.0.5 80  {delay_loop 6lb_algo rrlb_kind DRpersistence_timeout 50protocol TCPreal_server 10.1.0.9 80 {weight 1TCP_CHECK {                 connect_timeout 10      nb_get_retry 3          delay_before_retry 3    connect_port 80}}real_server 10.1.0.10 80 {weight 1TCP_CHECK {                 connect_timeout 10      nb_get_retry 3          delay_before_retry 3    connect_port 80}}
}

五、启动LVS主和备的keepalived服务

在LVS主上启动keepalived

[root@lvs01 ~]# systemctl restart keepalived.service [root@lvs01 ~]# ifconfigenp0s8: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500inet 10.1.0.8  netmask 255.255.0.0  broadcast 10.1.255.255inet6 fe80::f11:ab84:820d:2dcb  prefixlen 64  scopeid 0x20<link>inet6 fe80::db6e:9a5d:7349:6075  prefixlen 64  scopeid 0x20<link>inet6 fe80::3d8e:d53:d823:a85c  prefixlen 64  scopeid 0x20<link>ether 08:00:27:b8:e6:5d  txqueuelen 1000  (Ethernet)RX packets 2043  bytes 234694 (229.1 KiB)RX errors 0  dropped 0  overruns 0  frame 0TX packets 1724  bytes 177199 (173.0 KiB)TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0enp0s8:0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500inet 10.1.0.5  netmask 255.255.255.255  broadcast 0.0.0.0ether 08:00:27:b8:e6:5d  txqueuelen 1000  (Ethernet)# 启动keepalived就自动配置好了
[root@localhost ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags-> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  10.1.0.5:80 rr persistent 50-> 10.1.0.9:80                  Route   1      0          0         -> 10.1.0.10:80                 Route   1      0          0

可以看到，主LVS上，enp0s8:0网卡，自动绑定了一个虚拟IP，10.1.0.5

在LVS副上启动keepalived

enp0s8: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500inet 10.1.0.7  netmask 255.255.0.0  broadcast 10.1.255.255inet6 fe80::3d8e:d53:d823:a85c  prefixlen 64  scopeid 0x20<link>inet6 fe80::f11:ab84:820d:2dcb  prefixlen 64  scopeid 0x20<link>inet6 fe80::db6e:9a5d:7349:6075  prefixlen 64  scopeid 0x20<link>ether 08:00:27:00:ea:f9  txqueuelen 1000  (Ethernet)RX packets 2168  bytes 255588 (249.5 KiB)RX errors 0  dropped 0  overruns 0  frame 0TX packets 2242  bytes 214656 (209.6 KiB)TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

可以看到，在LVS副上，并没有新建enp0s8:0的虚拟IP
如果LVS副上没有VIP就对了。如果主副都有，那么请检查防火墙是否开启状态
如果主副两台机器网络不通的情况，就会有两个VIP都绑定了，这是有问题的，就是“脑裂”

六、内网客户端进行访问测试

在内网客户端上进行访问测试，可以发现请求到了后端

[root@localhost ~]# curl -X GET http://10.1.0.5
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
html { color-scheme: light dark; }
body { width: 35em; margin: 0 auto;
font-family: Tahoma, Verdana, Arial, sans-serif; }
</style>
</head>
<body>
<h1>10.1.0.9 </h1>
</body>
</html>

在LVS主上停掉keepalived服务，LVS副，自动升级为主

LVS主

[root@localhost ~]# systemctl stop keepalived.service 
[root@localhost ~]# ifconfig | grep enp0s8:0
#这时候没有VIP了

在LVS副上查看VIP，发现有VIP自动绑定过来了

[root@localhost ~]# ip a | grep enp0s8:0enp0s8:0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500inet 10.1.0.5  netmask 255.255.255.255  broadcast 0.0.0.0ether 08:00:27:00:ea:f9  txqueuelen 1000  (Ethernet)

#再次在内网客户端上进行访问测试

curl -X GET http://10.1.0.5:80

#在LVS副上进行访问连接查询

[root@localhost ~]# ipvsadm -Lnc
IPVS connection entries
pro expire state       source             virtual            destination
TCP 01:38  FIN_WAIT    10.1.0.1:50297     10.1.0.5:80        10.1.0.10:80
TCP 00:28  NONE        10.1.0.1:0         10.1.0.5:80        10.1.0.10:80

发现客户端10.1.0.1连接到了LVS副上面了

#开启LVS主上的keepalived服务

[root@lvs01 ~]# systemctl start keepalived.service[root@lvs01 ~]# ip a | grep eth0:240inet 192.168.0.240/24 scope global secondary eth0:240

#查看LVS副上VIP资源是否释放

[root@localhost ~]# ifconfig
# 启动LVS主，但是主并没有升级，还是作为副存在，这是什么原因

综上，至此基于LVS的keepalived高可用功能实验完毕

七、通过Keepalived对LVS进行管理的功能实现

[root@lvs01 ~]# cat /etc/keepalived/keepalived.conf! Configuration File for keepalivedglobal_defs {notification_email {215379068@qq.com}notification_email_from yunjisuansmtp_server 127.0.0.1smtp_connect_timeout 30router_id LVS01}vrrp_instance VI_1 {state MASTERinterface eth0virtual_router_id 55priority 150advert_int 1authentication {auth_type PASSauth_pass 1111}virtual_ipaddress {192.168.0.240/24 dev eth0 label eth0:240}}virtual_server 192.168.0.240 80 {       #虚拟主机VIPdelay_loop 6            #lb_algo rr              #算法lb_kind DR              #模式nat_mask 255.255.255.0  #掩码#    persistence_timeout 50 #会话保持protocol TCP            #协议real_server 192.168.0.223 80 {      #RS节点weight 1                #权重TCP_CHECK {             #节点健康检查connect_timeout 8       #延迟超时时间nb_get_retry 3          #重试次数delay_before_retry 3    #延迟重试次数connect_port 80	        #利用80端口检查}}real_server 192.168.0.224 80 {      #RS节点weight 1TCP_CHECK {connect_timeout 8nb_get_retry 3delay_before_retry 3connect_port 80}}}

以上keepalived配置文件在LVS主和备上都进行修改。

然后在lvs服务器上通过ipvsadm -C清除之前设置的规则

重新启动keepalived服务进行测试，操作过程如下：

[root@lvs01 ~]# /etc/init.d/keepalived stop             #关闭主LVS的keepalived服务Stopping keepalived:                                       [  OK  ][root@lvs01 ~]# ipvsadm -Ln                             #没有ipvs规则IP Virtual Server version 1.2.1 (size=4096)Prot LocalAddress:Port Scheduler Flags-> RemoteAddress:Port           Forward Weight ActiveConn InActConn[root@lvs01 ~]# ip a | grep 240                         #没有VIP[root@lvs01 ~]# /etc/init.d/keepalived start            #启动keepalived服务Starting keepalived:                                       [  OK  ][root@lvs01 ~]# ipvsadm -Ln                             #出现ipvs规则IP Virtual Server version 1.2.1 (size=4096)Prot LocalAddress:Port Scheduler Flags-> RemoteAddress:Port           Forward Weight ActiveConn InActConnTCP  192.168.0.240:80 rr-> 192.168.0.223:80             Route   1      0          0-> 192.168.0.224:80             Route   1      0          0[root@lvs01 ~]# ip a | grep 240                         #出现VIPinet 192.168.0.240/24 scope global secondary eth0:240

附录：LVS集群分发请求RS不均衡生产环境实战解决

生产环境中ipvsadm -L -n 发现两台RS的负载不均衡，一台有很多请求，一台没有。并且没有请求的那台RS经测试服务正常，lo：VIP也有。但是就是没有请求。

IP Virtual Server version 1.2.1 (size=4096)Prot LocalAddress:Port Scheduler Flags-> RemoteAddress:Port           Forward Weight ActiveConn InActConnTCP  192.168.0.240:80 rr persistent 10-> 192.168.0.223:80             Route   1      0          0-> 192.168.0.224:80             Route   1      8          12758

问题原因：

persistent 10的原因，persistent会话保持，当clientA访问网站的时候，LVS把请求分发给了52，那么以后clientA再点击的其他操作其他请求，也会发送给52这台机器。

解决办法：

到keepalived中注释掉persistent 10 然后/etc/init.d/keepalived reload,然后可以看到以后负载均衡两边都均衡了。

其他导致负载不均衡的原因可能有：

LVS自身的会话保持参数设置（-p 300,persistent 300）。优化：大公司尽量用cookies替代session
LVS调度算法设置，例如：rr，wrr，wlc，lc算法
后端RS节点的会话保持参数，例如：apache的keepalive参数
访问量较少的情况，不均衡的现象更加明显
用户发送得请求时间长短，和请求资源多少大小。

LVS配置文件说明

! Configuration File for keepalived
global_defs {                                     #全局定义部分notification_email {                          #设置报警邮件地址，可设置多个acassen@firewall.loc                      #接收通知的邮件地址}                        notification_email_from test0@163.com         #设置 发送邮件通知的地址smtp_server smtp.163.com                      #设置 smtp server 地址，可是ip或域名.可选端口号 （默认25）smtp_connect_timeout 30                       #设置 连接 smtp server的超时时间router_id LVS_DEVEL                           #主机标识，用于邮件通知vrrp_skip_check_adv_addr                   vrrp_strict                                   #严格执行VRRP协议规范，此模式不支持节点单播vrrp_garp_interval 0                       vrrp_gna_interval 0     script_user keepalived_script                 #指定运行脚本的用户名和组。默认使用用户的默认组。如未指定，默认为keepalived_script 用户，如无此用户，则使用rootenable_script_security                        #如过路径为非root可写，不要配置脚本为root用户执行。
}       vrrp_script chk_nginx_service {                   #VRRP 脚本声明script "/etc/keepalived/chk_nginx.sh"         #周期性执行的脚本interval 3                                    #运行脚本的间隔时间，秒weight -20                                    #权重，priority值减去此值要小于备服务的priority值fall 3                                        #检测几次失败才为失败，整数rise 2                                        #检测几次状态为正常的，才确认正常，整数user keepalived_script                        #执行脚本的用户或组
}                                             vrrp_instance VI_1 {                              #vrrp 实例部分定义，VI_1自定义名称state MASTER                                  #指定 keepalived 的角色，必须大写 可选值：MASTER|BACKUPinterface ens33                               #网卡设置，lvs需要绑定在网卡上，realserver绑定在回环口。区别：lvs对访问为外，realserver为内不易暴露本机信息virtual_router_id 51                          #虚拟路由标识，是一个数字，同一个vrrp 实例使用唯一的标识，MASTER和BACKUP 的 同一个 vrrp_instance 下 这个标识必须保持一致priority 100                                  #定义优先级，数字越大，优先级越高。advert_int 1                                  #设定 MASTER 与 BACKUP 负载均衡之间同步检查的时间间隔，单位为秒，两个节点设置必须一样authentication {                              #设置验证类型和密码，两个节点必须一致auth_type PASS                        auth_pass 1111                        }                                         virtual_ipaddress {                           #设置虚拟IP地址，可以设置多个虚拟IP地址，每行一个192.168.119.130                       }track_script {                                #脚本监控状态chk_nginx_service                         #可加权重，但会覆盖声明的脚本权重值。chk_nginx_service weight -20}notify_master "/etc/keepalived/start_haproxy.sh start"  #当前节点成为master时，通知脚本执行任务notify_backup "/etc/keepalived/start_haproxy.sh stop"   #当前节点成为backup时，通知脚本执行任务notify_fault  "/etc/keepalived/start_haproxy.sh stop"   #当当前节点出现故障，执行的任务; 
}                                             virtual_server 192.168.119.130 80  {          #定义RealServer对应的VIP及服务端口，IP和端口之间用空格隔开delay_loop 6                              #每隔6秒查询realserver状态lb_algo rr                                #后端调试算法（load balancing algorithm）lb_kind DR                                #LVS调度类型NAT/DR/TUN#persistence_timeout 60                   同一IP的连接60秒内被分配到同一台realserverprotocol TCP                              #用TCP协议检查realserver状态real_server 192.168.119.120 80 {          weight 1                              #权重，最大越高，lvs就越优先访问TCP_CHECK {                           #keepalived的健康检查方式HTTP_GET | SSL_GET | TCP_CHECK | SMTP_CHECK | MISCconnect_timeout 10                #10秒无响应超时retry 3                           #重连次数3次delay_before_retry 3              #重连间隔时间connect_port 80                   #健康检查realserver的端口}                                     }                                         real_server 192.168.119.121 80 {          weight 1                              #权重，最大越高，lvs就越优先访问TCP_CHECK {                           #keepalived的健康检查方式HTTP_GET | SSL_GET | TCP_CHECK | SMTP_CHECK | MISCconnect_timeout 10                #10秒无响应超时retry 3                           #重连次数3次delay_before_retry 3              #重连间隔时间connect_port 80                   #健康检查realserver的端口}                                     }                                         
}                                             vrrp_instance VI_2 {                          #vrrp 实例部分定义，VI_1自定义名称state   BACKUP                            #指定 keepalived 的角色，必须大写 可选值：MASTER|BACKUP 分别表示（主|备）interface ens33                           #网卡设置，绑定vip的子接口，lvs需要绑定在网卡上，realserver绑定在回环口。区别：lvs对访问为外，realserver为内不易暴露本机信息virtual_router_id 52                      #虚拟路由标识，是一个数字，同一个vrrp 实例使用唯一的标识，MASTER和BACKUP 的 同一个 vrrp_instance 下 这个标识必须保持一致priority 90                               #定义优先级，数字越大，优先级越高。advert_int 1                              #设定 MASTER 与 BACKUP 负载均衡之间同步检查的时间间隔，单位为秒，两个节点设置必须一样authentication {                          #设置验证类型和密码，两个节点必须一致auth_type PASS                        auth_pass 1111                        }                                         virtual_ipaddress {                       #设置虚拟IP地址，可以设置多个虚拟IP地址，每行一个192.168.119.131                       }                                         
}                                             virtual_server 192.168.119.131 80 {           #定义RealServer对应的VIP及服务端口，IP和端口之间用空格隔开delay_loop 6                              #每隔6秒查询realserver状态lb_algo rr                                #后端调试算法（load balancing algorithm）lb_kind DR                                #LVS调度类型NAT/DR/TUN#persistence_timeout 60                   #同一IP的连接60秒内被分配到同一台realserverprotocol TCP                              #用TCP协议检查realserver状态real_server 192.168.119.120 80 {          weight 1                              #权重，最大越高，lvs就越优先访问TCP_CHECK {                           #keepalived的健康检查方式HTTP_GET | SSL_GET | TCP_CHECK | SMTP_CHECK | MISCconnect_timeout 10                #10秒无响应超时retry 3                           #重连次数3次delay_before_retry 3              #重连间隔时间connect_port 80                   #健康检查realserver的端口}                                     }                                         real_server 192.168.119.121 80 {          weight 1                              #权重，最大越高，lvs就越优先访问TCP_CHECK {                           #keepalived的健康检查方式HTTP_GET | SSL_GET | TCP_CHECK | SMTP_CHECK | MISCconnect_timeout 10                #10秒无响应超时retry 3                           #重连次数3次delay_before_retry 3              #重连间隔时间connect_port 80                   #健康检查realserver的端口}}
}