通过bonding技术实现网络负载均衡及冗余

简介:

第二种模式:mod=1,即: (active-backup) Active-backup policy(主-备份策略) 特点:只有一个设备处于活动状态,当 一个宕掉另一个马上由备份转换为主设备。mac地址是外部可见得,从外面看来,bond的MAC地址是唯一的,以避免switch(交换机)发生混乱。此模式只提供了容错能力;由此可见此算法的优点是可以提供高网络连接的可用性,但是它的资源利用率较低,只有一个接口处于工作状态,在有 N 个网络接口的情况下,资源利用率为1/N 

第三种模式:mod=2,即:(balance-xor) XOR policy(平衡策略)

特点:基于指定的传输HASH策略传输数据包。缺省的策略是:(源MAC地址 XOR 目标MAC地址) % slave数量。其他的传输策略可以通过xmit_hash_policy选项指定,此模式提供负载平衡和容错能力

第四种模式:mod=3,即:broadcast(广播策略)

特点:在每个slave接口上传输每个数据包,此模式提供了容错能力

第五种模式:mod=4,即:(802.3ad) IEEE 802.3ad Dynamic link aggregation(IEEE 802.3ad 动态链接聚合)

特点:创建一个聚合组,它们共享同样的速率和双工设定。根据802.3ad规范将多个slave工作在同一个激活的聚合体下。

外 出流量的slave选举是基于传输hash策略,该策略可以通过xmit_hash_policy选项从缺省的XOR策略改变到其他策略。需要注意的是, 并不是所有的传输策略都是802.3ad适应的,尤其考虑到在802.3ad标准43.2.4章节提及的包乱序问题。不同的实现可能会有不同的适应性。 必要条件:

条件1:ethtool支持获取每个slave的速率和双工设定

条件2:switch(交换机)支持IEEE 802.3ad Dynamic link aggregation

条件3:大多数switch(交换机)需要经过特定配置才能支持802.3ad模式

第六种模式:mod=5,即:(balance-tlb) Adaptive transmit load balancing(适配器传输负载均衡)

特点:不需要任何特别的switch(交换机)支持的通道bonding。在每个slave上根据当前的负载(根据速度计算)分配外出流量。如果正在接受数据的slave出故障了,另一个slave接管失败的slave的MAC地址。 该模式的必要条件:ethtool支持获取每个slave的速率

第七种模式:mod=6,即:(balance-alb) Adaptive load balancing(适配器适应性负载均衡)

特点:该模式包含了balance-tlb模式,同时加上针对IPV4流量的接收负载均衡(receive load balance, rlb),而且不需要任何switch(交换机)的支持。接收负载均衡是通过ARP协商实现的。bonding驱动截获本机发送的ARP应答,并把源硬件地址改写为bond中某个slave的唯一硬件地址,从而使得不同的对端使用不同的硬件地址进行通信。

来 自服务器端的接收流量也会被均衡。当本机发送ARP请求时,bonding驱动把对端的IP信息从ARP包中复制并保存下来。当ARP应答从对端到达 时,







bonding驱动把它的硬件地址提取出来,并发起一个ARP应答给bond中的某个slave。使用ARP协商进行负载均衡的一个问题是:每次广播 ARP请求时都会使用bond的硬件地址,因此对端学习到这个硬件地址后,接收流量将会全部刘翔当前的slave。这个问题通过给所有的对端发送更新 (ARP应答)来解决,应答中包含他们独一无二的硬件地址,从而导致流量重新分布。当新的slave加入到bond中时,或者某个未激活的slave重新 激活时,接收流量也要重新分布。接收的负载被顺序地分布(round robin)在bond中最高速的slave上

当某个链路被重新接上,或者 一个新的slave加入到bond中,接收流量在所有当前激活的slave中全部重新分配,通过使用指定的MAC地址给每个 client发起ARP应答。下面介绍的updelay参数必须被设置为某个大于等于switch(交换机)转发延时的值,从而保证发往对端的ARP应答 不会被switch(交换机)阻截。 必要条件:

条件1:ethtool支持获取每个slave的速率;

条件2:底层驱动支持设置 某个设备的硬件地址,从而使得总是有个

slave(curr_active_slave)使用bond的硬件地址,同时保证每个bond 中的slave都有一个唯一的硬件地址。如果curr_active_slave出故障,它的硬件地址将会被新选出来的 curr_active_slave接管

其实mod=6与mod=0的区别:mod=6,先把eth0流量占满,再占

eth1,....ethX;而mod=0的话,会发现2个口的流量都很稳定,基本一样的带宽。而mod=6,会发现第一个口流量很高,第2个口只占了小部分流量

2、bonding驱动选项

Bonding驱动的选项是通过在加载时指定参数来设定的。可以通过insmod或modprobe命令的命令行参数来指定,但通常在/etc/modprobe.conf配置文件中指定,或其他的配置文件中

下 面列出可用的bonding驱动参数。如果参数没有指定,驱动会使用缺省参数。刚开始配置bond的时候,建议在一个终端窗口中运行"tail -f

/var/log/messages"来观察bonding驱动的错误信息【译注:/var/log/messages一般会打印内核中的调试信息】

有些参数必须要正确的设定,比如miimon、arp_interval和arp_ip_target,否则在链接故障时会导致严重的网络性能退化。很少的设备不支持miimon,因此没有任何理由不使用它们。

有些选项不仅支持文本值的设定,出于兼容性的考虑,也支持数值的设定,比如,"mode=802.3ad"和"mode=4"效果是一样的

具体的参数列表: 1)primay

指 定哪个slave成为主设备(primary device),取值为字符串,如eth0,eth1等。只要指定的设备可用,它将一直是激活的slave。只有在主设备(primary device)断线时才会切换设备。这在希望某个slave设备优先使用的情形下很有用,比如,某个slave设备有更高的吞吐率

注意: primary选项只对active-backup模式有效








2)updelay

指定当发现一个链路恢复时,在激活该链路之前的等待时间,以毫秒计算。该选项只对miimon链路侦听有效。updelay应该是miimon值的整数倍,如果不是,它将会被向下取整到最近的整数。缺省值为0

3)arp_interval

指 定ARP链路监控频率,单位是毫秒(ms)。如果APR监控工作于以太兼容模式(模式0和模式2)下,需要把switch(交换机)配置为在所有链路上均 匀的分发网络包。如果switch(交换机)被配置为以XOR方式分发网络包,所有来自ARP目标的应答将会被同一个链路上的其他设备收到,这将会导致其 他设备的失败。ARP监控不应该和miimon同时使用。设定为0将禁止ARP监控。缺省值为0

4)arp_ip_target

指 定一组IP地址用于ARP监控的目标,它只在arp_interval > 0时有效。这些IP地址是ARP请求发送的目标,用于判定到目标地址的链路是否工作正常。该设定值为ddd.ddd.ddd.ddd格式。多个IP地址通 过逗号分隔。至少指定一个IP地址。最多可以指定16个IP地址。缺省值是没有IP地址

5)downdelay

指定一个时间,用于在发现链路故障后,等待一段时间然后禁止一个slave,单位是毫秒(ms)。该选项只对miimon监控有效。downdelay值应该是miimon值的整数倍,否则它将会被取整到最接近的整数倍。缺省值为0

6)lacp_rate

指定在802.3ad模式下,我们希望的链接对端传输LACPDU包的速率。可能的选项:

(1)slow 或者 0

请求对端每30s传输LACPDU (2)fast 或者 1

请求对端每1s传输LACPDU (3)缺省值是slow

7)max_bonds

为bonding驱动指定创建bonding设备的数量。比如:如果max_bonds为3,而且bonding驱动还没有加载,那么bond0,bond1,bond2将会被创建。缺省值为1

6)miimon

指定MII链路监控频率,单位是毫秒(ms)。这将决定驱动检查每个slave链路状态频率

0表示禁止MII链路监控。100可以作为一个很好的初始参考值。下面的

use_carrier选项将会影响如果检测链路状态。更多的信息可以参考“高可靠性”章节。缺省值为0








8)mode

指定bonding的策略。缺省是balance-rr (round robin,循环赛)。可选的mode包括:0,1,2,3,4,5,6

3、bonding链路监测方法

官方文档里说有两种针对链路的监测方法(注意:这两种监测不能同时使用)

第一种:miimon(这种方法是最常见的,此方法使用系统的mii-tool命令进行监测)

模块加载设置(/etc/modprobe.conf): # Start of bonding configure alias bond0 bonding

options bond0 miimon=100 mode=1

注意:使用cat /proc/net/bonding/bond0,可查看Bonding Mode: load balancing (round-robin)状态

options bond0 miimon=100 mode=0

注意:使用cat /proc/net/bonding/bond0,可查看Bonding Mode: load balancing ((active-backup))状态

root@Web:~# mii-tool

eth0: negotiated 100baseTx-HD, link ok eth1: negotiated 100baseTx-HD, link ok

缺 点:这种方法,只能监测交换机与该网卡之间的链路;如果它们之外的链路的地方断了,而交换机本身没有问题,也就是说你的网卡和交换机之间还是UP状态,它 是不会认为网络中断,除非你的网卡是DOWN状态,它才会把链路转到另一块网卡上,就像是拔掉网线一样,或者把交换机端口shutdown一样

第二种:arp(这种方法比较实用,你可以把它看作是arp的ping(二层ping),但是可能会给网关造成一定的压力)

模块加载:

alias bond0 bonding

options bond0 arp_interval=100 arp_ip_target=192.168.1.1 mode=active-backup primary=eth0 解析如下:

arp_interval=100,表示arp的检测时间,等同于miimon=100的作用

arp_ip_target=192.168.1.1,表示arp检测的目标IP,必须是同网段的,最好就是网关

注意:如果使用arp来ping网关不通,那么在/proc/net/bonding/bond0里会一会down,一会up的

优点:使用arp这种方法,如果交换机的上出现问题,网络不通,它就会把链转到另一块网卡上,但是不管是哪种方法,在第一块网卡出现问题,链路转到







第二块后,如果第一块恢复正常,链路自己不会恢复的




多网卡绑定:

把多张网卡帮成虚拟的一个网卡,使用该虚拟的网卡进行数据传输,速度在理论上是网卡N



eth0---\

--bond010.1.1.21 ---->

eth1---/




物理连接图:

eth0---\

----switch ----

eth1---/





必须:

绑定的网卡型号,速度应该一致。






rhel6:


1、加载对应的绑定网卡使用的驱动模块。


# modprobe bonding mode=0 miimon=100


mode设定工作模式

负载均衡模式(两个网卡同时使用,理论上带宽翻倍)

高可用模式(其中一个网卡工作,另外的网卡备用)


miimon=100 100毫秒对网卡进行检测。





2、激活虚拟网卡(绑定后的逻辑网卡,以后配置IP的就是该网卡,物理网卡不需要配置IP


rhel6必须先把NetworkManager关闭:

# service NetworkManager stop

# chkconfig NetworkManager off


# ifconfig bond0 10.1.1.28netmask 255.255.255.0 up


# ifenslave bond0 eth0 eth1 <---把物理网卡eth0,eth1绑定到bond0


表面上看,配置了IP和发送数据都是使用bond0,实际上是bonding软件驱动,使用物理网卡在底层发送数据。


# ifconfig

bond0 Link encap:Ethernet HWaddr52:54:00:C3:B8:57

inet addr:10.1.1.28 Bcast:10.1.1.255 Mask:255.255.255.0

inet6 addr: fe80::5054:ff:fec3:b857/64 Scope:Link

UP BROADCAST RUNNING MASTER MULTICAST MTU:1500 Metric:1

。。。。


eth0 Link encap:Ethernet HWaddr52:54:00:C3:B8:57

UP BROADCAST RUNNING SLAVE MULTICAST MTU:1500 Metric:1

。。。


eth1 Link encap:Ethernet HWaddr52:54:00:C3:B8:57

UP BROADCAST RUNNING SLAVE MULTICAST MTU:1500 Metric:1

。。。





临时取消绑定:


# ifenslave -d bond0 eth0 eth1


# ifconfig bond0 down


# rmmod bonding <--卸载模块


永久取消绑定

rm -rf ifcfg-bond0 。

vim /etc/modprobe.d/dist.conf

删除 alias bond0 bonding 

options bond0 miimon=100 mode=1

service network restart


方法2编写配置文件


# vim /etc/modprobe.d/dist.conf


alias bond0 bonding

options bonding miimon=100 mode=0


# vim/etc/sysconfig/network-scripts/ifcfg-bond0

DEVICE=bond0

ONBOOT=yes

BOOTPROTO=static

IPADDR=1.1.1.138

NETMASK=255.255.255.0

NM_CONTROLLED="no" 《——————该接口不许要用NetworkManager是管理

MASTER=yes


# vim/etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE="eth0"

BOOTPROTO="none"

HWADDR="52:54:00:C3:B8:57"

NM_CONTROLLED="no" ---

ONBOOT="yes"

MASTER=bond0

SLAVE=yes


# vim/etc/sysconfig/network-scripts/ifcfg-eth1

DEVICE="eth1"

BOOTPROTO="none"

HWADDR="52:54:00:42:C1:8A"

NM_CONTROLLED="no" ----

ONBOOT="yes"

MASTER=bond0

SLAVE=yes


# service network restart



测试

在绑定的机器上看网卡流量:

# watch "ifconfig |grep 'RX packets'




 |head -3 |tail -2"

Every 2.0s: ifconfig |grep 'RX packets' |... Wed Jan 2 03:22:42 2013


RX packets:9532 errors:0 dropped:0 overruns:0 frame:0

RX packets:9470 errors:0 dropped:0 overruns:0 frame:0



从另外一台机器发送大文件到绑定的机器








      本文转自crazy_charles 51CTO博客,原文链接:http://blog.51cto.com/douya/1283275,如需转载请自行联系原作者






相关实践学习
部署高可用架构
本场景主要介绍如何使用云服务器ECS、负载均衡SLB、云数据库RDS和数据传输服务产品来部署多可用区高可用架构。
负载均衡入门与产品使用指南
负载均衡(Server Load Balancer)是对多台云服务器进行流量分发的负载均衡服务,可以通过流量分发扩展应用系统对外的服务能力,通过消除单点故障提升应用系统的可用性。 本课程主要介绍负载均衡的相关技术以及阿里云负载均衡产品的使用方法。
相关文章
|
16天前
|
SQL 安全 算法
网络安全与信息安全:防御前线的关键技术与意识
【4月更文挑战第3天】在数字化时代,网络安全与信息安全已成为维护信息完整性、确保数据私密性和保障系统可用性的基石。本文深入探讨了网络安全漏洞的概念、加密技术的应用以及提升安全意识的重要性,旨在为读者提供全面的网络安全知识框架,以应对日益复杂的网络威胁。
|
10天前
|
负载均衡 算法 应用服务中间件
面试题:Nginx有哪些负载均衡算法?Nginx位于七层网络结构中的哪一层?
字节跳动面试题:Nginx有哪些负载均衡算法?Nginx位于七层网络结构中的哪一层?
28 0
|
9天前
|
数据采集 大数据 数据安全/隐私保护
掌握网络抓取技术:利用RobotRules库的Perl下载器一览小红书的世界
本文探讨了使用Perl和RobotRules库在遵循robots.txt规则下抓取小红书数据的方法。通过分析小红书的robots.txt文件,配合亿牛云爬虫代理隐藏真实IP,以及实现多线程抓取,提高了数据采集效率。示例代码展示了如何创建一个尊重网站规则的数据下载器,并强调了代理IP稳定性和抓取频率控制的重要性。
掌握网络抓取技术:利用RobotRules库的Perl下载器一览小红书的世界
|
9天前
|
存储 安全 网络安全
未来云计算与网络安全:技术创新与挑战
随着数字化时代的来临,云计算与网络安全成为了当今科技领域的焦点。本文从技术创新和挑战两个方面探讨了未来云计算与网络安全的发展趋势。在技术创新方面,人工智能、区块链和量子计算等新兴技术将为云计算和网络安全带来前所未有的发展机遇;而在挑战方面,隐私保护、数据泄露和网络攻击等问题也将不断考验着技术研究者和行业从业者的智慧和勇气。未来,只有不断创新,同时加强安全防护,才能实现云计算与网络安全的良性发展。
13 1
|
10天前
|
传感器 监控 安全
|
10天前
|
安全 SDN 数据中心
|
13天前
|
SQL 监控 安全
网络安全与信息安全:防御前线的关键技术与策略
【4月更文挑战第6天】 在数字化时代,数据成为了新的货币,而网络安全则是保护这些数据的金库。本文深入分析了网络安全漏洞的形成机理、加密技术的最新进展以及提升个人和企业安全意识的实践方法。通过对网络威胁的剖析和防御技术的探讨,文章为读者提供了一系列的信息安全防护策略,旨在帮助个人和组织构建更为坚固的数字防线。
|
15天前
|
机器学习/深度学习 安全 网络安全
网络安全与信息安全:防御前沿的技术与策略
【4月更文挑战第4天】在数字化时代,数据成为了新的货币,而网络安全则是保护这种“货币”不被盗窃的关键。本文将深入探讨网络安全漏洞的概念、加密技术的最新进展以及提升个人和企业安全意识的策略。我们将分析当前网络威胁的面貌,探索如何通过多层次的防护手段来构建坚固的信息防线,并强调教育与培训在维护网络安全中的核心作用。
|
18天前
|
SQL 安全 网络安全
网络防线之盾:揭秘网络安全漏洞与防御技术
在数字化时代,网络安全成为守护信息完整性、保障用户隐私的关键。本文深入探讨了网络安全领域内常见的安全漏洞,分析了加密技术在数据保护中的作用,并强调了提升个人和企业安全意识的重要性。通过实例和案例分析,文章为读者提供了一道了解和应对网络威胁的窗口,同时指出了未来网络安全发展的趋势和挑战。
15 2
|
21天前
|
缓存 网络协议 数据库连接
【底层服务/编程功底系列】「网络通信体系」深入探索和分析TCP协议的运输连接管理的核心原理和技术要点
【底层服务/编程功底系列】「网络通信体系」深入探索和分析TCP协议的运输连接管理的核心原理和技术要点
20 0