文章正文

 环境：虚拟机VMware Workstation
操作系统：RedHat6.5
一、 介绍
keepalived：是一个类似于 layer3, 4 &7 交换机制的软件，也就是我们平时说的第 3 层、第 4 层和第 7层交换。 Keepalived 的作用是检测 web 服务器的状态，如果有一台 web 服务器死机，或工作出现故障，Keepalived 将检测到，并将有故障的 web 服务器从系统中剔除，当 web 服务器工作正常后 Keepalived 自动将web 服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的web 服务器。

keepalived 理论工作原理
Layer3,4&7 工作在 IP/TCP 协议栈的 IP 层， TCP 层，及应用层,。
原理分别如下：
Layer3： Keepalived 使用 Layer3 的方式工作式时， Keepalived 会定期向服务器群中的服务器发送一个 ICMP 的数据包（既我们平时用的 Ping 程序） , 如果发现某台服务的 IP 地址没有激活，
Keepalived 便报告这台服务器失效，并将它从服务器群中剔除，这种情况的典型例子是某台服务器被非法关机。 Layer3 的方式是以服务器的 IP 地址是否有效作为服务器工作正常与否的标准。
Layer4: 主要以 TCP 端口的状态来决定服务器工作正常与否。如 web server 的服务端口一般是
80，如果 Keepalived 检测到 80 端口没有启动，则 Keepalived 将把这台服务器从服务器群中删除。
Layer7：Layer5 就是工作在具体的应用层了，比 Layer3,Layer4 要复杂一点，在网络上占用的带宽也要大一些。 Keepalived 将根据用户的设定检查服务器程序的运行是否正常，如果与用户的设定不相符，则 Keepalived 将把服务器从服务器群中剔除。
比如说访问一个页面，它有没有这个页面，没有的话，它就会把它踢除啊
keepalived作用：

1.管理 VIP（虚拟IP） VIP 会在 LVS 之间漂移


2.监控 LVS分发器

运行在主分发的 Keepalived 会以组播的形式向网络中宣告自己，即主分发器还活着，备用节点能收到。当备用节点，在一个时间单位中收不到组播，备用节点会认为主 LVS 挂了，开始接手主分发器工作，把 VIP 配给自己。

3.管理 RS

Keepalived 会每隔一个时间段去做一次类似于访问的操作如：
探针：elinks http://192.168.3.64 -dump

keepalived 官网
http://www.keepalived.org/
LVS：Linux Virtual Server的简写，意即Linux虚拟服务器，是一个虚拟的服务器集群系统,此项目在1998年5月由章文嵩博士成立，是中国国内最早出现的自由软件项目之一。
中文官方网站：http://zh.linuxvirtualserver.org/  http://www.linux-vs.org/zh/

二、keepalived+lvs-DR模式配置高可用负载均衡
拓扑如下：

IP地址与主机分配如下 ：
机器角色 机器IP 网关 机器作用
xuegod63 RIP：192.168.1.63/24 192.168.1.1 RS1-WEB1
xuegod64 RIP：192.168.1.64/24 192.168.1.1 RS2-WEB2
xuegod66 DIP：192.168.1.66/24
VIP：192.168.1.200/24 192.168.1.1 主-LVS
xuegod67 DIP：192.168.1.67/24
VIP：192.168.1.200/24 192.168.1.1 备-LVS
二、服务器ip配置信息
1．xuegod66主机（master）

#全局定义部分
global_defs {
notification_email {
dba.gao@gmail.com #设置报警邮件地址，可以设置多个，每行一个。注意，如果要开启邮件报警，需要开启本机的sendmail服务。
ixdba@163.com
}
notification_email_from Keepalived@localhost #设置邮件的发送地址。
smtp_server 192.168.200.1 #设置smtp server地址。
smtp_connect_timeout 30 #设置连接smtp服务器超时时间。
router_id LVS_MASTER #运行Keepalived服务器的一个标识。发邮件时显示在邮件标题中的信息
}
#vrrp实例定义部分
vrrp_instance VI_1 {
state MASTER #指定Keepalived的角色，MASTER表示此主机是主用服务器，BACKUP表示是备用服务器。
interface eth0 #指定HA监测网络的接口。
virtual_router_id 51#虚拟路由标识，这个标识是一个数字，并且同一个vrrp实例使用唯一的标识，即同一个vrrp_instance下，MASTER和BACKUP必须是一致的。
priority 100 #定义优先级，数字越大，优先级越高，在一个vrrp_instance下，MASTER的优先级必须大于BACKUP的优先级。
advert_int 1 #设定MASTER与BACKUP负载均衡器之间同步检查的时间间隔，单位是秒。
authentication { #设定验证类型和密码。
auth_type PASS #设置验证类型，主要有PASS和AH两种。
auth_pass 1111 #设置验证密码，在一个vrrp_instance下，MASTER与BACKUP必须使用相同的密码才能正常通信。
}
virtual_ipaddress { #设置虚拟IP地址，可以设置多个虚拟IP地址，每行一个。
192.168.12.135
}
}
#虚拟服务器定义部分
virtual_server 192.168.12.135 80 { #设置虚拟服务器，需要指定虚拟ip地址和服务端口，ip与端口之间用空格隔开。
delay_loop 6 #设置健康检查时间，单位是秒。
lb_algo rr #设置负载调度算法，这里设置为rr，即轮询算法。
lb_kind DR #设置LVS实现负载均衡的机制，可以有NAT、TUN和DR三个模式可选。
persistence_timeout 50 #会话保持时间，单位是秒，这个选项对于动态网页是非常有用的，为集群系统中session共享提供了一个很好的解决方案。有了这个会话保持功能，用户的请求会被一直分发到某个服务节点，直到超过这个会话保持时间。需要注意的是，这个会话保持时间，是最大无响应超时时间，也就是说用户在操作动态页面时，如果在50秒内没有执行任何操作，那么接下来的操作会被分发到另外节点，但是如果一直在操作动态页面，则不受50秒的时间限制。
protocol TCP #指定转发协议类型，有tcp和udp两种。
real_server 192.168.12.246 80 { #配置服务节点1，需要指定real server的真实IP地址和端口，ip与端口之间用空格隔开。
weight 3 #配置服务节点的权值，权值大小用数字表示，数字越大，权值越高，设置权值的大小可以为不同性能的服务器分配不同的负载，可以对性能高的服务器设置较高的权值，而对性能较低的服务器设置相对较低的权值，这样就合理的利用和分配了系统资源。
TCP_CHECK { #realserve的状态检测设置部分，单位是秒
connect_timeout 10 #10秒无响应超时
nb_get_retry 3 #重试次数
delay_before_retry 3 #重试间隔
}
}
real_server 192.168.12.237 80 { #配置服务节点2
weight 1
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}

[root@xuegod66 keepalived]# service keepalived restart
测试是否可以加载VIP地址
[root@xuegod66 keepalived]# ipvsadm -L –n
IP Virtual Server version 1.2.1(size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.1.200:80 rr persistent 50
#注：没有看到 realserver，是因为两台 realserver 没有开启 httpd 服务。
2．在bakcup上面安装
[root@xuegod67 Packages]# rpm -ivh ipvsadm-1.26-2.el6.x86_64.rpm
warning: ipvsadm-1.26-2.el6.x86_64.rpm: Header V3 RSA/SHA256 Signature, key ID fd431d51: NOKEY
Preparing... ########################################### [100%]
1:ipvsadm ########################################### [100%]
[root@xuegod67 Packages]# ipvsadm
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
检查模版是否加入了内核
[root@xuegod67 Packages]# lsmod|grep ip_vs
ip_vs 125220 0
libcrc32c 1246 1 ip_vs
ipv6 317340 158 ip_vs,ip6t_REJECT,nf_conntrack_ipv6,nf_defrag_ipv6
安装keepalived
[root@xuegod67 ~]# wgethttp://www.keepalived.org/software/keepalived-1.2.16.tar.gz

[root@xuegod67 ~]# tar zxf keepalived-1.2.16.tar.gz
[root@xuegod67 ~]# cd keepalived-1.2.16
[root@xuegod67 keepalived-1.2.16]# ./configure --prefix=/usr/local/keepalived
Keepalived configuration
------------------------
Keepalived version : 1.2.16
Compiler : gcc
Compiler flags : -g -O2
Extra Lib : -lssl -lcrypto -lcrypt
Use IPVS Framework : Yes
IPVS sync daemon support : Yes
IPVS use libnl : No
fwmark socket support : Yes
Use VRRP Framework : Yes
Use VRRP VMAC : Yes
SNMP support : No
SHA1 support : No
Use Debug flags : No
[root@xuegod67 keepalived-1.2.16]# make&& make install
将xuegod66上的启动文件和配置文件复制到xuegod67的相应位置
[root@xuegod66 ~]# scp /etc/init.d/keepalived xuegod67:/etc/init.d/
[root@xuegod66 ~]# scp /usr/local/keepalived/etc/keepalived/keepalived.conf xuegod67:/usr/local/keepalived/etc/keepalived/
复制过来的启动文件就不需要再修改了，配置文件还要做一定的修改
[root@xuegod67 ~]# vi /usr/local/keepalived/etc/keepalived/keepalived.conf
global_defs {
notification_email {
root@localhost
}
notification_email_from root@localhost
smtp_server localhost
smtp_connect_timeout 30
router_id xuegod67 #运行 keepalived 的机器标示符
}

vrrp_instance apache {
state BACKUP#当前 LVS 状态为从分发器
interface eth0
virtual_router_id 51
priority 90 #前 LVS 优先级,备的要比主的小
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.1.200
}
}
……………………
[root@xuegod67 keepalived]# service keepalived restart
测试：高可用
[root@xuegod66 keepalived]# /etc/init.d/keepalived stop #xueogd66上停止keepalived
[root@xuegod67 keepalived]#ip addr
……
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:ae:04:06 brd ff:ff:ff:ff:ff:ff
inet 192.168.1.67/24 brd 192.168.1.255 scope global eth0
inet 192.168.1.200/32 scope global eth0
inet6 fe80::20c:29ff:feae:406/64 scope link
valid_lft forever preferred_lft forever
[root@xuegod67 keepalived]# ipvsadm -L –n
IP Virtual Server version 1.2.1(size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.1.200:80 rr persistent 50
#看到192.168.1.63飘移过来了，就证明一切正常了
或查看日志：
[root@xuegod61 ~]# tail -f /var/log/messages


三、配置WEB服务器
配置RS1
[root@xuegod63 ~]# vim /etc/init.d/lvsrsdr
#!/bin/bash
#description:start relserver
VIP=192.168.1.200
source /etc/init.d/functions #加载环境变量（可以加载所有的环境变量）
case $1 in
start)
echo 'start LVS of Realserver DR'
/sbin/ifconfig lo:1 $VIP broadcast $VIP netmask 255.255.255.255 up
/sbin/route add -host $VIP dev lo:1
echo '1' > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo '2' > /proc/sys/net/ipv4/conf/lo/arp_announce
echo '1' > /proc/sys/net/ipv4/conf/all/arp_ignore
echo '2' > /proc/sys/net/ipv4/conf/all/arp_announce
;;
stop)
/sbin/ifconfig lo:1 down
echo 'Close LVS of Realserver DR'
echo '0' > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo '0' > /proc/sys/net/ipv4/conf/lo/arp_announce
echo '0' > /proc/sys/net/ipv4/conf/all/arp_ignore
echo '0' > /proc/sys/net/ipv4/conf/all/arp_announce
;;
*)
echo "Usage:$0(start|stop)"
exit 1
esac

[root@xuegod63 ~]# /etc/init.d/lvsrsdr start
[root@xuegod63 ~]# echo "/etc/init.d/lvsrsdr start " > /etc/rc.local
[root@xuegod63 ~]#ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
inet 192.168.1.200/32 brd 192.168.1.200 scope global lo:1
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
[root@xuegod63 ~]#yum install -y httpd
[root@xuegod63 ~]# service httpd restart
[root@xuegod63 ~]# echo 192.168.1.63> /var/www/html/index.html
[root@xuegod63 ~]# service httpd restart
配置RS2
[root@xuegod64 ~]# scp /etc/init.d/lvsrsdr 192.168.1.64:/etc/init.d #从Xuegod63上导入脚本
[root@xuegod64 ~]# /etc/init.d/lvsrsdr start
[root@xuegod64 ~]# echo "/etc/init.d/lvsrsdr start " > /etc/rc.local
[root@xuegod64 ~]# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
inet 192.168.1.200/32 brd 192.168.1.200 scope global lo:1
inet6 ::1/128 scope host
[root@xuegod64 ~]#yum install -y httpd php
[root@xuegod64 ~]# echo 192.168.1.64 > /var/www/html/index.html
[root@xuegod64 ~]# service httpd restart
测试
我们先清空浏览器缓存

等待50S之后再看一下

测试：主备切换
首先在主上Xueogd66查看状态
[root@xuegod66 keepalived]# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.1.200:80 rr persistent 50
-> 192.168.1.63:80 Route 1 0 0
-> 192.168.1.64:80 Route 1 0 14
在备上查看Xuegod67的状态
[root@xuegod64 keepalived]#ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
[root@xuegod66 keepalived]# service keepalived stop //在xuegod66上停掉keepalived模拟故障，在查看xuegod67
[root@xuegod67 keepalived]#ipvsadm -L –n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.1.200:80 rr persistent 50
-> 192.168.1.63:80 Route 1 0 0
-> 192.168.1.64:80 Route 1 0 0
[root@xuegod67 keepalived]# ip addr
……
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:ae:04:06 brd ff:ff:ff:ff:ff:ff
inet 192.168.1.67/24 brd 192.168.1.255 scope global eth0
inet 192.168.1.200/32 scope global eth0
inet6 fe80::20c:29ff:feae:406/64 scope link
valid_lft forever preferred_lft forever
从日志看：
[root@xuegod67 keepalived]# tailf /var/log/messages
当我们重启了主上的keepalived，自动从备分发器转到主分发器上。因为备的优先级低。
[root@xuegod66 keepalived]#servicekeepalivedrestart
测试RS容错
停掉Xueogd64的httpd之后xuegod63查看
[root@xuegod63 keepalived]#ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.1.200:80 rr persistent 50
-> 192.168.1.63:80 Route 1 0 0
打开主 LVS 的日志（/var/log/message），使其滚动从 LVS 中移除。答案都是提示的。
使用 ipvsadm -ln 可以看到刚才关闭的那台机器的 IP不在列表中了。

当 keepalived 主从优先级一样时，当主恢复后，还是要回切资源的。第一次建立主从关系时，需要10s 左右的认证时间。

常见错误
1：编译报错

由提示可以看到，没有发现 gcc cc 编译工具，只需要安装即可。解决方法:
#yum install gcc gcc-c++

2：编译完成还不支持

解决方法：内核源码做软链接，查看是否有内核源码
#ls /usr/src/kernels/ #yum install kernel-devel ipvsadm
#ln -s /usr/src/kernels/2.6.32-220.el6.x86_64/ /usr/src/linux //上面 ln 软链接时源地址根据系统版本的不同，目录名也不同

文章来自绿盟(xDowns.com)转载请注明来路。

上一篇文章：常用网站自动跳转页面如何修复？360常规修复 []

相关文章

相关软件