环境

注意：

(1) 做高可用+负载均衡至少需要四台服务器：两台独立的高可用+负载均衡器，两台web服务器做集群
(2) vip（虚拟ip）不能和物理ip冲突
(3) vip（虚拟ip）最好设置成和内网ip同一网段，最后做地址映射到公网ip
(4) keeplived（高可用）+nginx（负载均衡） 可以实现多域名对应一个VIP,并且访问不同域名，显示不同主页，可行，已测
(5) 负载均衡服务器（keeplived+nginx）最好和后端web服务器在同一局域网内
(6) 两台web服务的网站内容必须相同
(7) keeplived+nginx 中后端web服务器不需要配置vip，也不用抑制arp广播，因为后端web回包时还会经过前端nginx
(8) 心跳线：两台服务器各新增一块网卡然后配上任意网段ip只要能相互ping通就行(不要和局域网通网段)

名词解释：
VIP：负载均衡服务器的虚拟ip地址
LB ：负载均衡服务器
sealserver：后端真实服务器

描述配置keepalive+nginx+web的过程

1、准备好后端web集群并且保证web集群内容一致
2、配置2台nginx的反向代理功能，保证能通过nginx正常访问到后端的web集群
3、在每台nginx上配置keepalive，模式为主备，实现当用户访问主keepalive的时候，vip能够正常把数据包发送给nginx并实现反向代理，后端的web集群回复用户的时候仍然通过vip来发送数据。
注意：如果master上的nginx发生故障keepalive需要手动停止才能把vip漂移到backup上。

1、安装keepalived（与nginx[负载均衡服务器] 在一台服务器上）

# keepalived使用 VRRP（虚拟路由冗余协议），实现单点故障切换，俗称心跳线监听
[root@oldboy ~]# yum -y install keepalived
[root@oldboy ~]# cd /etc/keepalived/
[root@oldboy keepalived]#  cp keepalived.conf keepalived.conf.ori
[root@oldboy keepalived]# sed  -n '1,31p' keepalived.conf.ori >keepalived.conf 

2、配置web服务器站点目录（Real-server：后端web服务器）

(1) 配置real-server-10.0.0.7（nginx-web）
[root@Oldboy extra]# cat www.conf 
server {listen        80;server_name  www.etiantian.org;location / {root   html/www;index  index.html index.htm;}
}[root@Oldboy extra]# cat bbs.conf 
server {listen        80;server_name  bbs.etiantian.org; location / {root   html/bbs;index  index.php  index.html index.htm;}
}[root@Oldboy extra]# cat blog.conf 
server {listen        80;server_name  blog.etiantian.org;location / {root     html/blog;index    index.html index.php;
}location ~ .*\.(php|php5)?$ {root html/blog;fastcgi_pass  127.0.0.1:9000;fastcgi_index index.php;include fastcgi.conf;}
}(2) 配置real-server-10.0.0.8 (apache-web)
[root@Oldboy extra]# egrep -v "#|^$" httpd-vhosts.conf 
NameVirtualHost *:80
<VirtualHost *:80>ServerAdmin oldboy@oldboyedu.comDocumentRoot "/application/apache2.2.31/htdocs/www"ServerName   www.etiantian.orgServerAlias etiantian.orgErrorLog "/app/logs/www-error_log"CustomLog "/app/logs/www-access_log" common
</VirtualHost>
<VirtualHost *:80>ServerAdmin oldboy@oldboyedu.comDocumentRoot "/application/apache2.2.31/htdocs/bbs"ServerName   bbs.etiantian.orgErrorLog "/app/logs/bbs-error_log"CustomLog "/app/logs/bbs-access_log" common
</VirtualHost>
<VirtualHost *:80>ServerAdmin oldboy@oldboyedu.comDocumentRoot "/application/apache2.2.31/htdocs/blog"ServerName   blog.etiantian.orgErrorLog "/app/logs/blog-error_log"CustomLog "/app/logs/blog-access_log" common
</VirtualHost>

3、配置nginx负载均衡服务器 ，配置两台，主备都一样（也叫反向代理）

[root@Oldboy keepalived]# vi /application/nginx/conf/nginx.conf
worker_processes  1;
events {worker_connections  1024;
worker_processes  1;
events {worker_connections  1024;
}
http {include       mime.types;default_type  application/octet-stream;sendfile        on;keepalive_timeout  65;upstream www_pool {server 172.16.1.7:80  weight=1;server 172.16.1.8:80  weight=1;
}server {listen       80;server_name  www.etiantian.org bbs.etiantian.org  blog.etiantian.org;   （多个域名用空格隔开）location / {index  index.html index.htm;proxy_pass http://www_pool;proxy_set_header Host  $host;proxy_set_header X-Forwarded-For $remote_addr;}}
}

4、配置keepalived（keepalived和负载均衡服务器在一台服务器上）

(1) 配置keepalived-MASTER（10.0.0.5）
[root@Oldboy keepalived]# cat keepalived.conf
! Configuration File for keepalivedglobal_defs {router_id LVS_DEVEL_01         \\keepalived服务器标识符，最好和备keepalived不一样
}vrrp_instance VI_1 {                    \\VRRP实例1，多实例不能相同，但是主备必须相同state MASTER                          \\指定keepalived的角色，MASTER为主服务器，BACKUP为备用服务器interface eth0                          \\监听的接口virtual_router_id 51                  \\虚拟路由标识，这个标识是一个数字(1-255)，在一个VRRP实例中主备服务器ID必须一样priority 150                               \\优先级，数字越大优先级越高，在一个实例中主服务器优先级要高于备服务器advert_int 1                                \\设置主备之间同步检查的时间间隔，单位秒 authentication {auth_type PASSauth_pass 1111}virtual_ipaddress {172.16.1.254/24 dev eth0 label eth0:3    \\定义虚拟ip地址，在监听的eth0网卡上增加eth0:3虚拟网卡#172.16.1.245                                           \\直接加ip也可以，用ip add 看}
}
(2) 配置keepalived-BACKUP（10.0.0.6）
[root@Oldboy keepalived]# cat keepalived.conf
! Configuration File for keepalivedglobal_defs {}router_id LVS_DEVEL_02                                                                     \\keepalived服务器标识符，最好和主keepalived不一样
}vrrp_instance VI_1 {                                                                                \\VRRP实例，和主一样state BACKUP                                                                                     \\指定keepalived的角色，这里是备用服务器interface eth0virtual_router_id 51                                                                            priority 100                                                                                          \\优先级低于主服务器，最好相差50advert_int 1authentication {auth_type PASSauth_pass 1111}virtual_ipaddress {172.16.1.254/24 dev eth0 label eth0:3#172.16.1.245                                        \\直接加ip也可以，用ip add 看}
}

5、启动keepalived

/etc/init.d/keepalived start
chkconfig keepalived on
echo "/application/nginx/sbin/nginx" >> /etc/rc.d/rc.local
查看vip漂移：
[root@Oldboy keepalived]# ifconfig eth0:3
eth0:3    Link encap:Ethernet  HWaddr 00:0C:29:6D:23:83  inet addr:172.16.1.254  Bcast:0.0.0.0  Mask:255.255.255.0UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1

6、将vip映射到公网ip（由于我这里没有硬件防火墙，只能使用同一局域网的其它服务器代替，这台服务器需要能联网）

(1) 开启路由转发
[root@Oldboy ~]# sed -i 's#net.ipv4.ip_forward = 0#net.ipv4.ip_forward = 1#g' /etc/sysctl.conf
[root@Oldboy ~]# sysctl -p
net.ipv4.ip_forward = 1(2) 配置地址映射(当访问公网ip:10.0.0.51的时候跳转到vip:172.16.1.254)
iptables -F -t nat
iptables -t nat -I PREROUTING -p tcp  -d 10.0.0.51 --dport 80 -j DNAT --to-destination 172.16.1.254:80
iptables -t nat -A POSTROUTING  -j MASQUERADE
/etc/init.d/iptables save
/etc/init.d/iptables restart

7、测试并验证

• keepalived+nginx：多个域名虚拟主机对应一个VIP，并且访问不同域名虚拟主机，显示不同主页，可行，已测，因为nginx支持7层转发

客户端绑定hosts: 10.0.0.51  www.etiantian.org  bbs.etiantian.org  blog.etiantian.org   （一个vip对应多个域名）1、keepalived只负责vip漂移，能够让用户顺利将请求通过vip交给负载均衡服务器，当停止主服务器，备用服务器会接管vip以及对应的服务，当启动主服务器，备用服务器会让出接管权，注意这里是停止主服务器，如果只停止nginx服务vip是不会发生漂移的。2、当访问www.etiantian.org  bbs.etiantian.org 或 blog.etiantian.org，则解析到 10.0.0.51（公网ip）并NAT映射到vip:172.16.1.254（vip与负载均衡服务器在一起），负载均衡服务器会带着用户的主机头请求后端的real-server，后端real-server会根据主机头信息，回复负载均衡服务器，然后负载均衡服务器再回复客户端请求。