第十八周

1、简述keepalived工作原理

	keepalived是以VRRP协议为基础实现的，VRRP全称Virtual Router Redundancy Protocol，即虚拟路由冗余协议。虚拟路由冗余协议，将N台提供相同功能的路由器组成一个路由器组，这个组里面有一个master和多个backup，master上面有一个对外提供服务的虚拟ip，即vip（该路由器所在局域网内其他机器的默认路由为该vip），在keepalived中只有作为master的服务器会一直发送VRRP广播包（心跳消息），以告知局域网内的其他backup节点自己还活着，当master宕机了那么backup就无法收到VRRP包，这时就需要根据VRRP的优先级来选举一个backup接管master的工作，当检测到master恢复时，backup又会恢复原来备机状态。VRRP的出现就是用来保障单点故障问题，即某个节点出现故障，不会影响整个网络的正常运行，这样的话就可以保证高可用了。

#KeepAlived 配置说明

配置文件组成
GLOBAL CONFIGURATION
Global definitions：定义邮件配置，route_id，vrrp配置，多播地址等
VRRP CONFIGURATION
VRRP instance(s)：定义每个vrrp虚拟路由器
LVS CONFIGURATION
Virtual server group(s)
Virtual server(s)：LVS集群的VS和RS

帮助:man keepalived.conf

#全局配置
#/etc/keepalived/keepalived.conf 
global_defs {
 notification_email {
 root@localhost #keepalived 发生故障切换时邮件发送的目标邮箱，可以按行区分写多个
 root@wangxiaochun.com 
  29308620@qq.com 
 }
 notification_email_from keepalived@localhost  #发邮件的地址
 smtp_server 127.0.0.1     #邮件服务器地址
 smtp_connect_timeout 30   #邮件服务器连接timeout
 router_id ka1.example.com #每个keepalived主机唯一标识，建议使用当前主机名，但多节点重名不影响
 vrrp_skip_check_adv_addr  #对所有通告报文都检查，会比较消耗性能，启用此配置后，如果收到的通告报文和上一个报文是同一个路由器，则跳过检查，默认值为全检查
 vrrp_strict #严格遵守VRRP协议,启用此项后以下状况将无法启动服务:1.无VIP地址 2.配置了单播邻居 3.在VRRP版本2中有IPv6地址，开启动此项并且没有配置vrrp_iptables时会自动开启iptables防火墙规则，默认导致VIP无法访问,建议不加此项配置
 vrrp_garp_interval 0 #gratuitous ARP messages 报文发送延迟，0表示不延迟
 vrrp_gna_interval 0  #unsolicited NA messages （不请自来）消息发送延迟
 vrrp_mcast_group4 224.0.0.18 #指定组播IP地址范围：224.0.0.0到239.255.255.255,默认值：224.0.0.18 
 vrrp_iptables        #此项和vrrp_strict同时开启时，则不会添加防火墙规则,如果无配置vrrp_strict项,则无需启用此项配置
}

#配置虚拟路由器
vrrp_instance  { #为vrrp的实例名,一般为业务名称
 配置参数
 ......
 }
#配置参数：
state MASTER|BACKUP#当前节点在此虚拟路由器上的初始状态，状态为MASTER或者BACKUP
interface IFACE_NAME #绑定为当前虚拟路由器使用的物理接口，如：eth0,bond0,br0,可以和VIP不在一个网卡
virtual_router_id VRID #每个虚拟路由器惟一标识，范围：0-255，每个虚拟路由器此值必须唯一，否则服务无法启动，同属一个虚拟路由器的多个keepalived节点必须相同,务必要确认在同一网络中此值必须唯一
priority 100 #当前物理节点在此虚拟路由器的优先级，范围：1-254，值越大优先级越高,每个keepalived主机节点此值不同
advert_int 1 #vrrp通告的时间间隔，默认1s
authentication { #认证机制
auth_type AH|PASS   #AH为IPSEC认证(不推荐),PASS为简单密码(建议使用)
auth_pass  #预共享密钥，仅前8位有效，同一个虚拟路由器的多个keepalived节点必须一样
}
virtual_ipaddress { #虚拟IP,生产环境可能指定上百个IP地址
/ brd  dev  scope  label 
 192.168.200.100 #指定VIP，不指定网卡，默认为eth0,注意：不指定/prefix,默认为/32
 192.168.200.101/24 dev eth1   #指定VIP的网卡，建议和interface指令指定的岗卡不在一个网卡
 192.168.200.102/24 dev eth2 label eth2:1 #指定VIP的网卡label 
}
track_interface { #配置监控网络接口，一旦出现故障，则转为FAULT状态实现地址转移
 eth0
 eth1
 …
}

2、编译安装haproxy

#由于CentOS7 之前版本自带的lua版本比较低并不符合HAProxy要求的lua最低版本(5.3)的要求，因此需要编译安装较新版本的lua环境，然后才能编译安装HAProxy
[root@localhost ~]#lua -v
Lua 5.1.4  Copyright (C) 1994-2008 Lua.org, PUC-Rio
[root@localhost ~]#yum install -y gcc readline-devel
[root@localhost ~]#wget http://www.lua.org/ftp/lua-5.3.5.tar.gz
[root@localhost ~]#tar xvf lua-5.3.5.tar.gz -C /usr/local/src
[root@localhost ~]#cd /usr/local/src/lua-5.3.5
[root@localhost lua-5.3.5]# make linux test
[root@localhost lua-5.3.5]# src/lua -v
Lua 5.3.5  Copyright (C) 1994-2018 Lua.org, PUC-Rio

#HAProxy 1.8及1.9版本编译参数：
make  ARCH=x86_64 TARGET=linux2628 USE_PCRE=1 USE_OPENSSL=1 USE_ZLIB=1 USE_SYSTEMD=1  USE_CPU_AFFINITY=1  PREFIX=/usr/local/haproxy 
#HAProxy 2.0以上版本编译参数：
[root@localhost ~]# yum -y install gcc openssl-devel pcre-devel systemd-devel
[root@localhost ~]# wget https://src.fedoraproject.org/repo/pkgs/haproxy/haproxy-2.1.3.tar.gz/sha512/4728c1177b2bba69465cbc56b1ed73a1b2d36891ba2d94d29bb49714ad98ccfac4b52947735aded211f0cd8070002f5406ddd77cabd2f8230b00438189dd7a60/haproxy-2.1.3.tar.gz
[root@localhost ~]# tar xvf haproxy-2.1.3.tar.gz -C /usr/local/src
[root@localhost ~]# cd /usr/local/src/haproxy-2.1.3/
[root@localhost haproxy-2.1.3]# make ARCH=x86_64 TARGET=linux-glibc USE_PCRE=1 USE_OPENSSL=1 USE_ZLIB=1 USE_SYSTEMD=1 USE_LUA=1 LUA_INC=/usr/local/src/lua-5.3.5/src/ LUA_LIB=/usr/local/src/lua-5.3.5/src/
[root@localhost haproxy-2.1.3]#  make install PREFIX=/apps/haproxy
[root@localhost haproxy-2.1.3]# ln -s /apps/haproxy/sbin/haproxy /usr/sbin/
[root@localhost haproxy-2.1.3]# haproxy -v
[root@localhost haproxy-2.1.3]# haproxy -vv
#创建service文件
[root@localhost haproxy-2.1.3]# vim /usr/lib/systemd/system/haproxy.service
[Unit]
Description=HAProxy Load Balancer
After=syslog.target network.target
[Service]
ExecStartPre=/usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -c -q
ExecStart=/usr/sbin/haproxy -Ws -f /etc/haproxy/haproxy.cfg -p /var/lib/haproxy/haproxy.pid
ExecReload=/bin/kill -USR2 $MAINPID
LimitNOFILE=100000
[Install]
WantedBy=multi-user.target
#查看配置文件范例
[root@localhost ~]#tree /usr/local/src/haproxy-2.1.3/examples/
#自定义配置文件
[root@localhost haproxy-2.1.3]# vim /etc/haproxy/haproxy.cfg
global
    maxconn 100000
    chroot /apps/haproxy
    stats socket /var/lib/haproxy/haproxy.sock mode 600 level admin
    #uid 99
    #gid 99
    user  haproxy
    group haproxy
    daemon
    #nbproc 4
    #cpu-map 1 0
    #cpu-map 2 1
    #cpu-map 3 2
    #cpu-map 4 3
    pidfile /var/lib/haproxy/haproxy.pid
    log 127.0.0.1 local2 info

defaults 
    option http-keep-alive
    option  forwardfor
    maxconn 100000
    mode http
    timeout connect 300000ms
    timeout client  300000ms
    timeout server  300000ms

listen stats
    mode http
    bind 0.0.0.0:9999
    stats enable
    log global
    stats uri     /haproxy-status
    stats auth    haadmin:123456

listen  web_port
    bind 10.0.0.152:80
    mode http
    log global
    server web1  127.0.0.1:8080  check inter 3000 fall 2 rise 5

[root@localhost haproxy-2.1.3]# mkdir  /var/lib/haproxy
[root@localhost haproxy-2.1.3]# chown  -R 99.99 /var/lib/haproxy/
[root@localhost haproxy-2.1.3]# useradd -r -s /sbin/nologin -d /var/lib/haproxy haproxy
[root@localhost haproxy-2.1.3]# systemctl  enable --now haproxy
Created symlink from /etc/systemd/system/multi-user.target.wants/haproxy.service to /usr/lib/systemd/system/haproxy.service.
[root@localhost haproxy-2.1.3]# systemctl  enable --now haproxy
Created symlink from /etc/systemd/system/multi-user.target.wants/haproxy.service to /usr/lib/systemd/system/haproxy.service.
[root@localhost haproxy-2.1.3]# systemctl status haproxy
● haproxy.service - HAProxy Load Balancer
   Loaded: loaded (/usr/lib/systemd/system/haproxy.service; enabled; vendor preset: disabled)
   Active: active (running) since Wed 2021-12-01 10:00:07 CST; 20s ago
  Process: 4248 ExecStartPre=/usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -c -q (code=exited, status=0/SUCCESS)
 Main PID: 4250 (haproxy)
   CGroup: /system.slice/haproxy.service
           ├─4250 /usr/sbin/haproxy -Ws -f /etc/haproxy/haproxy.cfg -p /var/lib/haproxy...
           └─4252 /usr/sbin/haproxy -Ws -f /etc/haproxy/haproxy.cfg -p /var/lib/haproxy...

Dec 01 10:00:07 localhost.localdomain systemd[1]: Starting HAProxy Load Balancer...
Dec 01 10:00:07 localhost.localdomain systemd[1]: Started HAProxy Load Balancer.
Dec 01 10:00:07 localhost.localdomain haproxy[4250]: [NOTICE] 334/100007 (4250) : New ...d
Dec 01 10:00:07 localhost.localdomain haproxy[4250]: [WARNING] 334/100007 (4252) : Ser....
Dec 01 10:00:07 localhost.localdomain haproxy[4250]: [ALERT] 334/100007 (4252) : proxy...!
Hint: Some lines were ellipsized, use -l to show in full.

#浏览器访问http://10.0.0.152:9999/haproxy-status。输入账号密码haadmin/123456
[root@localhost haproxy-2.1.3]# curl http://haadmin:123456@10.0.0.152:9999/haproxy-status

3、总结haproxy各调度算法的实现方式及其应用场景

#HAProxy的调度算法分为静态和动态调度算法，但是有些算法可以根据参数在静态和动态算法中相互转换。官方文档：http://cbonte.github.io/haproxy-dconv/2.1/configuration.html#4-balance

#静态算法：
	按照事先定义好的规则轮询公平调度，不关心后端服务器的当前负载、连接数和响应速度
等，且无法实时修改权重(只能为0和1,不支持其它值)，只能靠重启HAProxy生效。
	对服务器动态权重和其它状态可以利用 socat工具进行调整，Socat 是 Linux 下的一个多功能的网络工具，名字来由是Socket CAT，相当于netCAT的增强版.Socat 的主要特点就是在两个数据流之间建立双向通道，且支持众多协议和链接方式。如 IP、TCP、 UDP、IPv6、Socket文件等
	static-rr：基于权重的轮询调度，不支持运行时利用socat进行权重的动态调整(只支持0和1,不支持其它值)及后端服务器慢启动，其后端主机数量没有限制，相当于LVS中的 wrr
	first：根据服务器在列表中的位置，自上而下进行调度，但是其只会当第一台服务器的连接数达到上限，新请求才会分配给下一台服务，因此会忽略服务器的权重设置，此方式使用较少。不支持用socat进行动态修改权重,可以设置0和1,可以设置其它值但无效
	
	
#动态算法：
	基于后端服务器状态进行调度适当调整，新请求将优先调度至当前负载较低的服务器，且权
重可以在haproxy运行时动态调整无需重启。
	roundrobin：基于权重的轮询动态调度算法，支持权重的运行时调整，不同于lvs中的rr轮训模式，HAProxy中的roundrobin支持慢启动(新加的服务器会逐渐增加转发数)，其每个后端backend中最多支持4095个real server，支持对real server权重动态调整，roundrobin为默认调度算法,此算法使用广泛
	leastconn：加权的最少连接的动态，支持权重的运行时调整和慢启动，即:根据当前连接最少的后端服务器而非权重进行优先调度(新客户端连接)，比较适合长连接的场景使用，比如：MySQL等场景。
	random：在1.9版本开始增加 random的负载平衡算法，其基于随机数作为一致性hash的key，随机负载平衡对于大型服务器场或经常添加或删除服务器非常有用，支持weight的动态调整，weight较大的主机有更大概率获取新请求
	
#其它算法
	即可作为静态算法，又可以通过选项成为动态算法
	source：源地址hash，基于用户源地址hash并将请求转发到后端服务器，后续同一个源地址请求将被转发至同一个后端web服务器。此方式当后端服务器数据量发生变化时，会导致很多用户的请求转发至新的后端服务器，默认为静态方式，但是可以通过hash-type支持的选项更改。这个算法一般是在不插入Cookie的TCP模式下使用，也可给拒绝会话cookie的客户提供最好的会话粘性，适用于session会话保持但不支持cookie和缓存的场景。源地址有两种转发客户端请求到后端服务器的服务器选取计算方式，分别是取模法和一致性hash
	map-based：取模法，对source地址进行hash计算，再基于服务器总权重的取模，最终结果决定将此请求转发至对应的后端服务器。此方法是静态的，即不支持在线调整权重，不支持慢启动，可实现对后端服务器均衡调度。缺点是当服务器的总权重发生变化时，即有服务器上线或下线，都会因总权重发生变化而导致调度结果整体改变，hash-type 指定的默认值为此算法。所谓取模运算，就是计算两个数相除之后的余数，10%7=3, 7%4=3。map-based算法：基于权重取模，hash(source_ip)%所有后端服务器相加的总权重
	一致性hash：当服务器的总权重发生变化时，对调度结果影响是局部的，不会引起大的变动，
hash（o）mod n ，该hash算法是动态的，支持使用 socat等工具进行在线权重调整，支持慢启动
	uri：基于对用户请求的URI的左半部分或整个uri做hash，再将hash结果对总权重进行取模后，根据最终结果将请求转发到后端指定服务器，适用于后端是缓存服务器场景，默认是静态算法，也可以通过hash-type指定map-based和consistent，来定义使用取模法还是一致性hash。注意：此算法基于应用层，所以只支持 mode http ，不支持 mode tcp
	url_param：对用户请求的url中的 params 部分中的一个参数key对应的value值作hash计算，并由服务器总权重相除以后派发至某挑出的服务器；通常用于追踪用户，以确保来自同一个用户的请求始终发往同一个real server，如果无没key，将按roundrobin算法
	hdr：针对用户每个http头部(header)请求中的指定信息做hash，此处由 name 指定的http首部将会被取出并做hash计算，然后由服务器总权重取模以后派发至某挑出的服务器，如果无有效值，则会使用默认的轮询调度。
	rdp-cookie：对远windows远程桌面的负载，使用cookie保持会话，默认是静态，也可以通过hash-type指定map-based和consistent，来定义使用取模法还是一致性hash。

#算法总结
#静态
static-rr--------->tcp/http  
first------------->tcp/http  
#动态
roundrobin-------->tcp/http 
leastconn--------->tcp/http 
random------------>tcp/http
#以下静态和动态取决于hash_type是否consistent
source------------>tcp/http
Uri--------------->http
url_param--------->http     
hdr--------------->http
rdp-cookie-------->tcp

#各算法使用场景
static-rr #做了session共享的web集群
first #使用较少

roundrobin
random
leastconn #数据库

source #基于客户端公网IP的会话保持
Uri--------------->http  #缓存服务器，CDN服务商，蓝汛、百度、阿里云、腾讯
url_param--------->http  #可以实现session保持
hdr #基于客户端请求报文头部做下一步处理
rdp-cookie #基于Windows主机,很少使用

4、使用haproxy的ACL实现基于文件后缀名的动静分离

#使用子配置文件
[root@localhost ~]# mkdir /etc/haproxy/conf.d/
#修改service文件
[root@localhost ~]# vim /usr/lib/systemd/system/haproxy.service
[Unit]
Description=HAProxy Load Balancer
After=syslog.target network.target
[Service]
ExecStartPre=/usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -f /etc/haproxy/conf.d -c -q
ExecStart=/usr/sbin/haproxy -Ws -f /etc/haproxy/haproxy.cfg  -f /etc/haproxy/conf.d -p /var/lib/haproxy/haproxy.pid
ExecReload=/bin/kill -USR2 $MAINPID
LimitNOFILE=100000
[Install]
WantedBy=multi-user.target


[root@localhost ~]# cat /etc/haproxy/conf.d/tets.cfg
frontend magedu_http_port
bind 10.0.0.152:80
mode http
balance roundrobin
log global
option httplog
###################### acl setting ###############################
acl acl_static path_end -i .jpg .jpeg .png .gif .css .js .html
acl acl_php path_end -i .php
###################### acl hosts #################################
use_backend mobile_hosts if acl_static
use_backend app_hosts if acl_php
default_backend pc_hosts
###################### backend hosts #############################
backend mobile_hosts
mode http
server web1 10.0.0.150 check inter 2000 fall 3 rise 5
backend pc_hosts
mode http
server web2 10.0.0.160:80 check inter 2000 fall 3 rise 5
backend app_hosts
mode http
server web2 10.0.0.160:80 check inter 2000 fall 3 rise 5

 
 
[root@localhost ~]# systemctl daemon-reload
[root@localhost ~]# systemctl restart haproxy

 #分别在后端两台主机准备相关文件
 #在10.0.0.150上
[root@centos8 ~]#ls /var/www/html/
index.html  timg.jpg
#在10.0.0.160上
[root@centos8 ~]#cat /var/www/html/test.php
<?php
echo "
http://10.0.0.160/test.php
\n";
?>
#最后网页访问http://10.0.0.152/timg.jpg和http://10.0.0.152/test.php