lvs

集群分类

负载均衡集群LB：客户端负载在集群中尽量平均分摊，减少服务器压力

高可用集群HA：避免单点故障，当一个系统发生故障时，能够快速迁移（主备）

高性能计算集群：通过以集群开发的并行应用程序，解决复杂的科学问题

 

LVS集群的组成

  • 前端：负载均衡层

    由一台或多台负载均衡调度器构成

  • 中间：服务器群组层

    由一组实际运行的应用服务的服务器组成

  • 低端：数据共享存储层

    提供共享存储空间的存储区域

 

LVS术语

  • Director Server：调度服务器

    将负载分发到Real Server的服务器

  • Real Server：真实服务器

    真正提供应用服务的服务器

  • VIP：虚拟IP地址

    公布给用户访问的虚拟IP地址

  • DIP：调度器连接后端节点服务器的IP地址

  • RIP：真实IP地址

    集群节点上使用的IP地址

 

负载均衡调度算法

  • LVS目前实现了10种调度算法

  • 常用调度算法有4种

    • 轮询rr（Round Robin）

    • 加权轮询wrr（Weighted Round Robin）

    • 最少连接lc（Least Connections）

    • 加权最少连接wlc（Weighted Least Connections）

  • 其他调度算法

    • 源地址散列

    • 目标地址散列

    • 基于局部性的最少链接

    • 带复制的基于局部性的最少链接

    • 最短的期望的延迟

    • 最少队列调度

 

ipvsadm命令用法

  • ipvsadm命令选项

命令选项含义
ipvsadmin -A （add）添加虚拟服务器
ipvsadmin -E （edit）修改虚拟服务器的调度算法
ipvsadmin -D （delete）删除虚拟服务器
ipvsadmin -C （clear）清空所有
ipvsadmin -a （add）添加真实服务器
ipvsadmin -e （edit）修改真实服务器
ipvsadmin -d （delete）删除真实服务器
ipvsadmin -L （list）查看LVS规则表
-s (rr|wrr|lc|wlc|sh) （scheduler）集群调度算法

  • ipvsadm语法案例

命令含义
ipvsadm -A -t|u 192.168.4.5:80 -s 【算法】 添加虚拟服务器，协议为tcp（-t）或者udp（-u）
ipvsadm -E -t|u 192.168.4.5:80 -s 【算法】 修改虚拟服务器，协议为tcp或udp
ipvsadm -D -t|u 192.168.4.5:80 删除虚拟服务器，协议为tcp或udp
ipvsadm -C 清空所有
ipvsadm -a -t|u 192.168.4.5:80 -r 192.168.2.100 【-g|i|m】 【-w 权重】 添加真实服务器 -g（DR模式），-i（隧道模式），-m（NAT模式）
ipvsadm -e -t|u 192.168.4.5:80 -r 192.168.2.100 【-g|i|m】 【-w 权重】 修改真实服务器
ipvsadm -d -t|u 192.168.4.5:80 -r 192.168.2.100 删除真实服务器
ipvsadm -Ln 查看LVS规则表

 

使用命令增、删、改LVS集群规则

创建LVS虚拟集群服务器（算法为加权轮询：wrr）

[root@proxy ~]# yum -y install ipvsadm
[root@proxy ~]# ipvsadm -A -t 192.168.4.5:80 -s wrr
[root@proxy ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.4.5:80 wrr

为集群添加若干real server

[root@proxy ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.2.100 
[root@proxy ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.4.5:80 wrr
  -> 192.168.2.100:80             router    1      0          0
[root@proxy ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.2.200 -m -w 2
[root@proxy ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.2.201 -m -w 3
[root@proxy ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.2.202 -m -w 4

修改集群服务器设置(修改调度器算法，将加权轮询修改为轮询)

[root@proxy ~]# ipvsadm -E -t 192.168.4.5:80 -s rr
[root@proxy ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.4.5:80 rr
  -> 192.168.2.100:80             router    1      0          0         
  -> 192.168.2.200:80             masq      2      0          0         
  -> 192.168.2.201:80             masq      2      0          0         
  -> 192.168.2.202:80             masq      1      0          0

修改real server（使用-g选项，将模式改为DR模式）

[root@proxy ~]# ipvsadm -e -t 192.168.4.5:80 -r 192.168.2.202 -g

查看LVS规则

[root@proxy ~]# ipvsadm -Ln

创建另一个集群（算法为最少连接算法；使用-m选项，设置工作模式为NAT模式）

[root@proxy ~]# ipvsadm -A -t 192.168.4.5:3306 -s lc
[root@proxy ~]# ipvsadm -a -t 192.168.4.5:3306 -r 192.168.2.100 -m
[root@proxy ~]# ipvsadm -a -t 192.168.4.5:3306 -r 192.168.2.200 -m

注意：永久规则需要确保ipvsadm服务为开机启动服务才可以。

（systemctl enable ipvsadm）。

 

清空所有规则

[root@proxy ~]# ipvsadm -C

 

LVS工作模式

  • VS/NAT

    • 通过网络地址转换实现的虚拟服务器

    • 大并发访问时，调度器的性能成为瓶颈

  • VS/DR

    • 直接使用路由技术实现虚拟服务器

    • 节点服务器需要配置VIP，注意MAC地址广播

  • VS/TUN

    • 通过隧道方式实现虚拟服务器

NAT模式

使用LVS实现NAT模式的集群调度服务器，为用户提供Web服务：

  • 集群对外公网IP地址为192.168.4.5

  • 调度器内网IP地址为192.168.2.5

  • 真实Web服务器地址分别为192.168.2.100、192.168.2.200

  • 使用加权轮询调度算法，真实服务器权重任意

环境准备：

主机网络配置
client eth0：192.168.4.10/24
lvs（网关设备） eth0：192.168.4.5/24 eth1：192.168.2.5/24
web1 eth0：192.168.2.100/24 网关：192.168.2.5
web2 eth0：192.168.2.200/24 网关：192.168.2.5

 

配置后端web环境

1）设置Web服务器

[root@web1 ~]# yum -y install httpd        #安装软件
[root@web1 ~]# echo "192.168.2.100" > /var/www/html/index.html    #创建网页文件
[root@web1 ~]# firewall-cmd --set-default-zone=trusted            #设置防火墙
[root@web1 ~]# setenforce  0
[root@web1 ~]# sed -i  '/SELINUX/s/enforcing/permissive/'  /etc/selinux/config  
[root@web2 ~]# yum -y install httpd        #安装软件
[root@web2 ~]# echo "192.168.2.200" > /var/www/html/index.html    #创建网页文件
[root@web2 ~]# firewall-cmd --set-default-zone=trusted            #设置防火墙
[root@web2 ~]# setenforce  0
[root@web2 ~]# sed -i  '/SELINUX/s/enforcing/permissive/'  /etc/selinux/config

2）启动Web服务器软件

[root@web1 ~]# systemctl restart httpd
[root@web2 ~]# systemctl restart httpd

3）配置网关，将web1和web2的网关设置为192.168.2.5（不能照抄网卡名称）

如果有4网段的IP，则临时将该网卡关闭nmcli con down 网卡名称

[root@web1 ~]# nmcli connection modify eth1 \
ipv4.method manual ipv4.gateway 192.168.2.5
#备注:网卡名称不能照抄,需要自己查看下2.100的网卡名称
[root@web1 ~]# nmcli connection up eth1
[root@web1 ~]# ip route show                #查看默认网关
default via 192.168.2.5 dev eth1          #提示：这里default后面的IP就是默认网关
#英语词汇：default（默认，预设值）
… …
[root@web2 ~]# nmcli connection modify eth1 \
ipv4.method manual ipv4.gateway 192.168.2.5
#备注:网卡名称不能照抄,需要自己查看下2.200的网卡名称
[root@web2 ~]# nmcli connection up eth1
[root@web2 ~]# ip route show        #查看默认网关，default后面的IP就是默认网关
部署LVS-NAT模式调度器

1)确认调度器的路由转发功能(如果已经开启，可以忽略)

[root@proxy ~]# echo 1 > /proc/sys/net/ipv4/ip_forward     #开启路由转发，临时有效
[root@proxy ~]# cat /proc/sys/net/ipv4/ip_forward          #查看效果
1
[root@proxy ~]# echo "net.ipv4.ip_forward = 1" >> /etc/sysctl.conf
#修改配置文件，设置永久规则，英语词汇：forward（转寄，转发，发送，向前）
[root@proxy ~]# sysctl -p                                   #立即生效
[root@proxy ~]# sysctl -a | grep ip_for                     #查看是否生效

2）创建集群服务器

[root@proxy ~]# yum -y install ipvsadm
[root@proxy ~]# ipvsadm -A -t 192.168.4.5:80 -s wrr
# -A(add)是创建添加虚拟服务器集群
# -t(tcp)后面指定集群VIP的地址和端口，协议是tcp协议
# -s后面指定调度算法，如rr（轮询）、wrr（加权轮询）、lc（最少连接）、wlc（加权最少连接）等等

3）添加真实服务器

[root@proxy ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.2.100 -w 1 -m
[root@proxy ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.2.200 -w 1 -m
#-a(add)往虚拟服务器集群中添加后端真实服务器IP,指定往-t 192.168.4.5:80这个集群中添加
#-r(real)后面跟后端真实服务器的IP和端口，这里不写端口默认是80端口
#-w(weight)指定服务器的权重，权重越大被访问的次数越多，英语词汇：weight（重量，分量）
#-m指定集群工作模式为NAT模式，如果是-g则代表使用DR模式，-i代表TUN模式

4）查看规则列表（L是list查看，n是number数字格式显示）

[root@proxy ~]# ipvsadm -Ln

5)设置防火墙，SELinux

[root@proxy ~]# firewall-cmd --set-default-zone=trusted
[root@proxy ~]# setenforce  0
[root@proxy ~]# sed -i  '/SELINUX/s/enforcing/permissive/'  /etc/selinux/config
客户端测试

客户端client主机使用curl命令反复连接http://192.168.1.30，查看访问的页面是否会轮询到不同的后端真实服务器。

 

DR模式

使用LVS实现DR模式的集群调度服务器，为用户提供Web服务：

  • 客户端IP地址为192.168.4.10

  • LVS调度器VIP地址为192.168.4.15

  • LVS调度器DIP地址设置为192.168.4.5

  • 真实Web服务器地址分别为192.168.4.100、192.168.4.200

  • 使用加权轮询调度算法，权重可以任意

说明：

CIP是客户端的IP地址；

VIP是对客户端提供服务的IP地址；

RIP是后端服务器的真实IP地址；

DIP是调度器与后端服务器通信的IP地址（VIP必须配置在虚拟接口）。

 

环境准备：

主机网络配置
client eth0：192.168.4.10/24
lvs（网关设备） eth0：192.168.4.5/24 eth0:0：192.168.4.15/24
web1 eth0：192.168.4.100/24 lo:0：192.168.4.15/32（子网掩码必须为32）
web2 eth0：192.168.4.200/24 lo:0：192.168.4.15/32
配置实验网络环境

1）设置Proxy服务器的VIP和DIP

注意：为了防止冲突，VIP必须要配置在网卡的虚拟接口，网卡名称不能照抄！！！

[root@proxy ~]# cd /etc/sysconfig/network-scripts/
[root@proxy ~]# cp ifcfg-eth0  ifcfg-eth0:0
[root@proxy ~]# vim ifcfg-eth0:0
TYPE=Ethernet
#网卡类型为：以太网卡
BOOTPROTO=none
#none手动配置IP，或者dhcp自动配置IP
NAME=eth0:0
#网卡名称
DEVICE=eth0:0
#设备名称
ONBOOT=yes
#开机时是否自动激活该网卡
IPADDR=192.168.4.15
#IP地址
PREFIX=24
#子网掩码
[root@proxy ~]# systemctl restart network        #重启网络服务
[root@proxy ~]# ip  a  s             #会看到一个网卡下面有两个IP地址

常见问题：RHEL7和Centos7系统中有两个管理网络的服务，有可能冲突？

解决方法：关闭NetworkManager服务后重启network即可。

 

2）设置Web1服务器网络参数（不能照抄网卡名称）

[root@web1 ~]# nmcli connection modify eth0 ipv4.method manual \
ipv4.addresses 192.168.4.100/24 connection.autoconnect yes
[root@web1 ~]# nmcli connection up eth0

接下来给web1配置VIP地址。

注意：这里的子网掩码必须是32（也就是全255），网络地址与IP地址一样，广播地址与IP地址也一样。

[root@web1 ~]# cd /etc/sysconfig/network-scripts/
[root@web1 ~]# cp ifcfg-lo  ifcfg-lo:0
[root@web1 ~]# vim ifcfg-lo:0
DEVICE=lo:0
#设备名称
IPADDR=192.168.4.15
#IP地址
NETMASK=255.255.255.255
#子网掩码
NETWORK=192.168.4.15
#网络地址
BROADCAST=192.168.4.15
#广播地址
ONBOOT=yes
#开机是否激活本网卡
NAME=lo:0
#网卡名称

防止地址冲突的问题：

这里因为web1也配置与调度器一样的VIP地址，默认肯定会出现地址冲突；

sysctl.conf文件写入这下面四行的主要目的就是访问192.168.4.15的数据包，只有调度器会响应，其他主机都不做任何响应，这样防止地址冲突的问题。

[root@web1 ~]# vim /etc/sysctl.conf
#文件末尾手动写入如下4行内容,英语词汇：ignore（忽略、忽视），announce（宣告、广播通知）
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_announce = 2
#当有arp广播问谁是192.168.4.15时，本机忽略该ARP广播，不做任何回应（防止进站冲突）
#本机不要向外宣告自己的lo回环地址是192.168.4.15（防止出站冲突）
[root@web1 ~]# sysctl -p

重启网络服务

[root@web1 ~]# systemctl restart network        #重启网络服务
[root@web1 ~]# ip  a   s           #会看到一个网卡下面有两个IP地址

常见错误：如果重启网络后未正确配置lo:0，有可能是NetworkManager和network服务有冲突，关闭NetworkManager后重启network即可。（非必须的操作）

[root@web1 ~]# systemctl stop NetworkManager
[root@web1 ~]# systemctl restart network

 

3）设置Web2服务器网络参数（不能照抄网卡名称）

[root@web2 ~]# nmcli connection modify eth0 ipv4.method manual \
ipv4.addresses 192.168.4.200/24 connection.autoconnect yes
[root@web2 ~]# nmcli connection up eth0

接下来给web2配置VIP地址

注意：这里的子网掩码必须是32（也就是全255），网络地址与IP地址一样，广播地址与IP地址也一样。

[root@web2 ~]# cd /etc/sysconfig/network-scripts/
[root@web2 ~]# cp ifcfg-lo  ifcfg-lo:0
[root@web2 ~]# vim ifcfg-lo:0
DEVICE=lo:0
#设备名称
IPADDR=192.168.4.15
#IP地址
NETMASK=255.255.255.255
#子网掩码
NETWORK=192.168.4.15
#网络地址
BROADCAST=192.168.4.15
#广播地址
ONBOOT=yes
#开机是否激活该网卡
NAME=lo:0
#网卡名称

防止地址冲突的问题：

这里因为web1也配置与调度器一样的VIP地址，默认肯定会出现地址冲突；

sysctl.conf文件写入这下面四行的主要目的就是访问192.168.4.15的数据包，只有调度器会响应，其他主机都不做任何响应，这样防止地址冲突的问题。

[root@web2 ~]# vim /etc/sysctl.conf
#手动写入如下4行内容，英语词汇：ignore（忽略、忽视），announce（宣告、广播通知）
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_announce = 2
#当有arp广播问谁是192.168.4.15时，本机忽略该ARP广播，不做任何回应（防止进站冲突）
#本机不要向外宣告自己的lo回环地址是192.168.4.15（防止出站冲突）
[root@web2 ~]# sysctl -p

重启网络服务

[root@web2 ~]# systemctl restart network        #重启网络服务
[root@web2 ~]# ip a  s                 #会看到一个网卡下面有两个IP地址

常见错误：如果重启网络后未正确配置lo:0，有可能是NetworkManager和network服务有冲突，关闭NetworkManager后重启network即可。（非必须的操作）

[root@web1 ~]# systemctl stop NetworkManager
[root@web1 ~]# systemctl restart network

 

proxy调度器安装软件并部署LVS-DR模式调度器

1）安装软件（如果已经安装，此步骤可以忽略）

[root@proxy ~]# yum -y install ipvsadm

2）清理之前实验的规则，创建新的集群服务器规则

[root@proxy ~]# ipvsadm -C                                #清空所有规则
[root@proxy ~]# ipvsadm -A -t 192.168.4.15:80 -s wrr
## -A(add)是创建添加虚拟服务器集群
# -t(tcp)后面指定集群VIP的地址和端口，协议是tcp协议
# -s后面指定调度算法，如rr（轮询）、wrr（加权轮询）、lc（最少连接）、wlc（加权最少连接）等等

3）添加真实服务器(-g参数设置LVS工作模式为DR模式，-w设置权重)

[root@proxy ~]# ipvsadm -a -t 192.168.4.15:80 -r 192.168.4.100 -g -w 1
[root@proxy ~]# ipvsadm -a -t 192.168.4.15:80 -r 192.168.4.200 -g -w 1
#-a(add)往虚拟服务器集群中添加后端真实服务器IP,指定往-t 192.168.4.15:80这个集群中添加
#-r(real)后面跟后端真实服务器的IP和端口，这里不写端口默认是80端口
#-w(weight)指定服务器的权重，权重越大被访问的次数越多，英语词汇：weight（重量，分量）
#-m指定集群工作模式为NAT模式，如果是-g则代表使用DR模式，-i代表TUN模式

4）查看规则列表（L代表list查看规则，n代表number数字格式显示）

[root@proxy ~]# ipvsadm -Ln
TCP  192.168.4.15:80 wrr
  -> 192.168.4.100:80             Route   1      0          0         
  -> 192.168.4.200:80             Route   1      0          0
客户端测试

客户端使用curl命令反复连接http://192.168.4.15，查看访问的页面是否会轮询到不同的后端真实服务器。

注意：本实验不可以在proxy主机（LVS调度器）使用curl访问网页验证！！！

 

扩展知识：默认LVS不带健康检查功能，需要自己手动编写动态检测脚本，实现该功能：(参考脚本如下，仅供参考)
[root@proxy ~]# vim check.sh
#!/bin/bash
VIP=192.168.4.15:80
RIP1=192.168.4.100
RIP2=192.168.4.200
while :
do
   for IP in $RIP1 $RIP2
   do
           curl -s http://$IP &>/dev/null
if [ $? -eq 0 ];then
            ipvsadm -Ln |grep -q $IP || ipvsadm -a -t $VIP -r $IP
        else
             ipvsadm -Ln |grep -q $IP && ipvsadm -d -t $VIP -r $IP
        fi
   done
sleep 1
done

 

相关

标签