LVS-DR模式(原理图详解)

  1. 云栖社区>
  2. 博客>
  3. 正文

LVS-DR模式(原理图详解)

陈天刚 2017-04-23 21:19:00 浏览1860
展开阅读全文

标签(空格分隔): linux

笔者Q:972581034 交流群:605799367。有任何疑问可与笔者或加群交流

前言

LVS一共四种工作模式。其中,DR模式是比较常用的模式之一,配置较麻烦,这里重点记录一下它的核心要点及优化。先看工作流程,上图:

img_a6a54fe58355ea9db299d16a52976c03.png


实战配置一台LVS负载均衡服务器

一、主机列表

主机名 IP地址 角色
lb01 10.0.0.5/24 调度器
web01 10.0.0.7/24 RS服务器
web02 10.0.0.8/24 RS服务器

二、安装

# lb01操作
yum install ipvsadm -y
rpm -qa ipvsadm
lsmod |grep ip_vs
ln -s /usr/src/kernels/`uname -r` /usr/src/linux

#注意Centos 6.X安装lvs,使用1.26版本。并且需要先安装yum install libnl* popt* -y
执行ipvsadm(modprobe ip_vs)把ip_vs模块加载到内核


[root@lb01 ~]# ipvsadm
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

#IP Virtual Server version 1.2.1 ---- ip_vs    内核模块版本

三、配置LVS服务器

lb01添加虚拟IP

ifconfig eth0:0 10.0.0.3/24 up #==>简便写法
[root@lb01 ~]# ipvsadm-save     #保存当前的lvs的规则,可以用ipvsadm-restore恢复
[root@lb01 ~]# ipvsadm -C     #clear the whole table 清空lvs的所有规则
[root@lb01 ~]# ipvsadm --set 30 5 60        #设置tpc tcpfin udp超时时间
[root@lb01 ~]# ipvsadm -A -t 10.0.0.3:80 -s wrr -p 20
-A        # add virual service with options
[root@lb01 ~]# ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  10.0.0.3:80 wrr persistent 20
-t   tcp服务
-s   指定轮询算法  rr  wrr  wlc
-p   指定会话保持时间

添加服务员RS服务器

[root@lb01 ~]# ipvsadm -a -t 10.0.0.3:80 -r 10.0.0.7:80 -g -w 1
[root@lb01 ~]# ipvsadm -a -t 10.0.0.3:80 -r 10.0.0.8:80 -g -w 1
[root@lb01 ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  10.0.0.3:80 wrr persistent 20
  -> 10.0.0.7:80                  Route   1      0          0         
  -> 10.0.0.8:80                  Route   1      0          0  
[root@lb01 ~]# ipvsadm-save
-A -t www.etiantian.org:http -s wrr -p 20
-a -t www.etiantian.org:http -r 10.0.0.7:http -g -w 1
-a -t www.etiantian.org:http -r 10.0.0.8:http -g -w 1 

参数说明

-a   #添加rs服务器
-r   #real  server  RS  ip
-g   #dr 模式
-w   #l   weight  权重
-t   #10.0.0.3:80    使用tcp协议,负载均衡的ip地址是10.0.0.3:80

四、手工在RS端绑定

1.在每台real server端执行
绑定vip

ip addr add 10.0.0.3/32 dev lo label lo:0

2.手工在RS端抑制ARP响应

cat >>/etc/sysctl.conf<<EOF
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
EOF
sysctl -p

五、浏览器测试


四种工作模式

  • DR(Direct Routing)
  • NAT(Network Address Translation)
  • TUN(Tunneling)
  • FULLNAT(Full Network Address Translation)

建议日1000千万到2000千万PV或并发请求1万以下都可以考虑用haproxy/nginx或(LVS-NAT模式),DR模式效率很高,但配置麻烦。

核心要点:

  • 因后端服务器上同样配置了虚拟IP,如果在客户端进行ARP请求时,后端服务器以自身的MAC地址进行了回复,则起不到负载均衡的效果,此时客户端直接连到了某台后端服务器上。

  • 后端服务器的虚拟IP必须绑定到lo:0上,同时指定子网掩码是255.255.255.255,否则ARP禁用会出现异常。

  • 持久连接(Persistence)的问题。持久连接使同一个客户端在超时时间内(ipvsadm-p参数指定,keepalived中的persistence_timeout指令)会持续地连接到同一台后端服务器,这个是4层上的持久连接。来自客户端的每个新的连接会重置该超时时间。

  • Keepalived对后端服务器的健康检查,推荐使用应用层检查方式,另外可以配置Keepalived使用管理员自定义的脚本进行健康检查(MISC_CHECK指令)

  • 负载均衡器之间使用vrrp协议进行高可用设置时,禁用iptables或者打开对vrrp协议的支持。

  • LVS集群中的负载均衡器,推荐使用16GB及以上内存,同时采用多队列网卡提高网卡吞吐量减少处理延时。

  • LVS集群中的后端服务器,根据IO密集型和CPU密集型2类,可以分别使用RAID10、SSD及高频多核CPU来优化。

参考书籍【Linux运维最佳实践】

网友评论

登录后评论
0/500
评论
陈天刚
+ 关注