网络配置之bond聚合-526互联

1.1.1 什么是聚合链路

聚合链路是将多块网卡逻辑地连接到一起从而允许故障转移或者提高吞吐率的方法。提高服务器网络可用性。

1) bond是将多块网卡虚拟成为一块网卡的技术，通过bond技术让多块网卡看起来是一个单独的以太网接口设备并具有相同的ip地址。在linux下配置bond，通过网卡绑定技术既能增加服务器的可靠性，又增加了可用网络宽带，为用户提供不间断的网络服务。

2) team是另一种用来实现连路聚合和方法，类似于bond，team和bond的区别在于，支持hash加密，支持负载均衡，支持8块网卡，更好地支持IPV6

实现方式

l bond

l team

1.1.2 bond链路模式

mode=0（balance-rr）

表示负载分担round-robin，并且是轮询的方式比如第一个包走eth0，第二个包走eth1，直到数据包发送完毕。

优点：流量提高一倍

缺点：需要接入交换机做端口聚合，否则可能无法使用

mode=1（active-backup）

表示主备模式，即同时只有1块网卡在工作。

优点：冗余性高

缺点：链路利用率低，两块网卡只有1块在工作

bond其他模式：

mode=2(balance-xor)(平衡策略)

表示XOR Hash负载分担，和交换机的聚合强制不协商方式配合。（需要xmit_hash_policy，需要交换机配置port channel）

特点：基于指定的传输HASH策略传输数据包。缺省的策略是：(源MAC地址 XOR 目标MAC地址) % slave数量。其他的传输策略可以通过xmit_hash_policy选项指定，此模式提供负载平衡和容错能力

mode=3(broadcast)(广播策略)

表示所有包从所有网络接口发出，这个不均衡，只有冗余机制，但过于浪费资源。此模式适用于金融行业，因为他们需要高可靠性的网络，不允许出现任何问题。需要和交换机的聚合强制不协商方式配合。

特点：在每个slave接口上传输每个数据包，此模式提供了容错能力

mode=4(802.3ad)(IEEE 802.3ad 动态链接聚合)

表示支持802.3ad协议，和交换机的聚合LACP方式配合（需要xmit_hash_policy）.标准要求所有设备在聚合操作时，要在同样的速率和双工模式，而且，和除了balance-rr模式外的其它bonding负载均衡模式一样，任何连接都不能使用多于一个接口的带宽。

特点：创建一个聚合组，它们共享同样的速率和双工设定。根据802.3ad规范将多个slave工作在同一个激活的聚合体下。外出流量的slave选举是基于传输hash策略，该策略可以通过xmit_hash_policy选项从缺省的XOR策略改变到其他策略。需要注意的是，并不是所有的传输策略都是802.3ad适应的，尤其考虑到在802.3ad标准43.2.4章节提及的包乱序问题。不同的实现可能会有不同的适应性。

必要条件：

条件1：ethtool支持获取每个slave的速率和双工设定

条件2：switch(交换机)支持IEEE802.3ad Dynamic link aggregation

条件3：大多数switch(交换机)需要经过特定配置才能支持802.3ad模式

mode=5(balance-tlb)(适配器传输负载均衡)

是根据每个slave的负载情况选择slave进行发送，接收时使用当前轮到的slave。该模式要求slave接口的网络设备驱动有某种ethtool支持；而且ARP监控不可用。

特点：不需要任何特别的switch(交换机)支持的通道bonding。在每个slave上根据当前的负载（根据速度计算）分配外出流量。如果正在接受数据的slave出故障了，另一个slave接管失败的slave的MAC地址。

必要条件：

ethtool支持获取每个slave的速率

mode=6(balance-alb)(适配器适应性负载均衡)

在5的tlb基础上增加了rlb(接收负载均衡receiveload balance).不需要任何switch(交换机)的支持。接收负载均衡是通过ARP协商实现的.

特点：该模式包含了balance-tlb模式，同时加上针对IPV4流量的接收负载均衡(receiveload balance, rlb)，而且不需要任何switch(交换机)的支持。接收负载均衡是通过ARP协商实现的。bonding驱动截获本机发送的ARP应答，并把源硬件地址改写为bond中某个slave的唯一硬件地址，从而使得不同的对端使用不同的硬件地址进行通信。来自服务器端的接收流量也会被均衡。当本机发送ARP请求时，bonding驱动把对端的IP信息从ARP包中复制并保存下来。当ARP应答从对端到达时，bonding驱动把它的硬件地址提取出来，并发起一个ARP应答给bond中的某个slave。使用ARP协商进行负载均衡的一个问题是：每次广播 ARP请求时都会使用bond的硬件地址，因此对端学习到这个硬件地址后，接收流量将会全部流向当前的slave。这个问题可以通过给所有的对端发送更新（ARP应答）来解决，应答中包含他们独一无二的硬件地址，从而导致流量重新分布。当新的slave加入到bond中时，或者某个未激活的slave重新激活时，接收流量也要重新分布。接收的负载被顺序地分布（round robin）在bond中最高速的slave上当某个链路被重新接上，或者一个新的slave加入到bond中，接收流量在所有当前激活的slave中全部重新分配，通过使用指定的MAC地址给每个 client发起ARP应答。下面介绍的updelay参数必须被设置为某个大于等于switch(交换机)转发延时的值，从而保证发往对端的ARP应答不会被switch(交换机)阻截。

1.1.1 bond使用

1.1.1.1 环境准备

准备两台服务器server1、server2

server1服务器

标红部分就是我要做bond两个网口，模拟实际环境中的业务口。

[root@server1 ~]# hostname

server1

[root@server2 ~]# cat /etc/system-release

Red Hat Enterprise Linux Server release 7.4 (Maipo)

[root@server1 ~]# ip a

1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1

    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

    inet 127.0.0.1/8 scope host lo

       valid_lft forever preferred_lft forever

    inet6 ::1/128 scope host

       valid_lft forever preferred_lft forever

2: ens32: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000

    link/ether 00:0c:29:c9:c6:0c brd ff:ff:ff:ff:ff:ff

    inet 10.0.0.10/24 brd 10.0.0.255 scope global ens32

       valid_lft forever preferred_lft forever

    inet6 fe80::ccdd:323e:dae0:c80c/64 scope link

       valid_lft forever preferred_lft forever

3: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000

    link/ether 00:0c:29:c9:c6:16 brd ff:ff:ff:ff:ff:ff

    inet 192.168.1.10/24 brd 192.168.1.255 scope global ens33

       valid_lft forever preferred_lft forever

    inet6 fe80::20c:29ff:fec9:c616/64 scope link

       valid_lft forever preferred_lft forever

4: ens36: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000

    link/ether 00:0c:29:c9:c6:20 brd ff:ff:ff:ff:ff:ff

    inet 192.168.1.11/24 brd 192.168.1.255 scope global ens36

       valid_lft forever preferred_lft forever

    inet6 fe80::20c:29ff:fec9:c620/64 scope link

       valid_lft forever preferred_lft forever

server2服务器

[root@server2 ~]# hostname

server2

[root@server2 ~]# cat /etc/system-release

Red Hat Enterprise Linux Server release 7.4 (Maipo)

[root@server2 ~]# ip a

1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1

    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

    inet 127.0.0.1/8 scope host lo

       valid_lft forever preferred_lft forever

    inet6 ::1/128 scope host

       valid_lft forever preferred_lft forever

2: ens32: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000

    link/ether 00:0c:29:7b:66:c9 brd ff:ff:ff:ff:ff:ff

    inet 10.0.0.20/24 brd 10.0.0.255 scope global ens32

       valid_lft forever preferred_lft forever

    inet6 fe80::154:5e78:b7eb:8db4/64 scope link

       valid_lft forever preferred_lft forever

    inet6 fe80::ccdd:323e:dae0:c80c/64 scope link tentative dadfailed

       valid_lft forever preferred_lft forever

3: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000

    link/ether 00:0c:29:7b:66:d3 brd ff:ff:ff:ff:ff:ff

    inet 192.168.1.20/24 brd 192.168.1.255 scope global ens33

       valid_lft forever preferred_lft forever

    inet6 fe80::c2cc:53c7:6524:63c9/64 scope link

       valid_lft forever preferred_lft forever

    inet6 fe80::bb40:381f:83ad:a5e/64 scope link tentative dadfailed

       valid_lft forever preferred_lft forever

测试网络连通性，server2 ping server1

[root@server2 ~]# ping 192.168.1.10

[root@server2 ~]# ping 192.168.1.11

开始配置bond

方法一：

# 查看系统是否支持bond

[root@server1 network-scripts]# lsmod |grep bonding

bonding               145728  0

 

[root@server1 network-scripts]# cat ifcfg-ens33

TYPE=Ethernet

BOOTPROTO=none

DEFROUTE=yes

NAME=ens33

DEVICE=ens33

ONBOOT=yes

MASTER=bond0

SLAVE=yes

 

[root@server1 network-scripts]# cat ifcfg-ens36

TYPE=Ethernet

BOOTPROTO=none

DEFROUTE=yes

NAME=ens36

DEVICE=ens36

ONBOOT=yes

MASTER=bond0

SLAVE=yes

 

# 配置虚拟网卡bond

[root@server1 network-scripts]# cat ifcfg-bond0

DEVICE=bond0

TYPE=Ethernet

ONBOOT=yes

BOOTPROTO=none

IPADDR=192.168.1.88

NETMASK=255.255.255.0

NM_CONTROLLED=yes

BONDING_OPTS="downdelay=0 miimon=1 mode=0 updelay=0"

BONDING_MASTER=yes

# miimon 链路检查时间为100ms

# mode: 模式为1

 

[root@server1 network-scripts]# systemctl restart network

[root@server1 network-scripts]# ifconfig

bond0: flags=5187<UP,BROADCAST,RUNNING,MASTER,MULTICAST>  mtu 1500

        inet 192.168.1.88  netmask 255.255.255.0  broadcast 192.168.1.255

        inet6 fe80::88dc:ddff:fe3a:67ca  prefixlen 64  scopeid 0x20<link>

        ether 8a:dc:dd:3a:67:ca  txqueuelen 1000  (Ethernet)

        RX packets 221  bytes 20688 (20.2 KiB)

        RX errors 0  dropped 0  overruns 0  frame 0

        TX packets 232  bytes 21616 (21.1 KiB)

        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

 

# 拿另一台server2 ping

[root@server2 ~]# ping 192.168.1.88

# bond其他参数介绍

#  miimon=100，监控网线链路故障的时间间隔(毫秒)；

#  lacp_rate=1，检测主机网卡是否存活的检测包每30秒（fast）或每秒（slow）发送一次。

#  fail_over_mac=1   mac地址跟随正常工作的网卡，当第一块网卡挂断之后，自动将mac地址调整为第二块网卡的mac

方法二：7版本上比较推荐的方法

# 1、创建bond虚拟网卡

[root@localhost ~]# nmcli connection add type bond con-name bond0 ifname bond0 mode 1 ipv4.addresses 192.168.1.88/24 ipv4.method manual autoconnect yes

# 参数详解：

# type: 创建的类型，这里选择bond类型

# con-name: 这里写链接名

# ifname: 网卡名

# mode: 选择bond模式

# ipv4.mehod:  表示自动还是手动

# ipv4.address: 设置ip地址

# autoconnect: 自动连接

# 2、为bond网卡添加成员（真实网卡）

[root@localhost ~]# nmcli connection add type bond-slave ifname ens33 master bond0

Connection 'bond-slave-ens33' (18ddbe97-d46c-402b-9a95-8c7fb2e6fe5f) successfully added.

[root@localhost ~]# nmcli connection add type bond-slave ifname ens36 master bond0

Connection 'bond-slave-ens36' (79be1269-6b39-4cf5-a50e-1a50ac3efc64) successfully added.

[root@localhost ~]# nmcli connection

NAME              UUID                                  TYPE            DEVICE

bond-slave-ens36  79be1269-6b39-4cf5-a50e-1a50ac3efc64  802-3-ethernet  ens36 

bond0             f93530cb-19bc-43bc-b3ce-f1d639805210  bond            bond0 

ens32             fa798e78-5761-49ef-b7eb-f40c8cbb960f  802-3-ethernet  ens32 

ens33             de32b7cb-bed7-4ab9-b0f9-fb061c7ee7c5  802-3-ethernet  ens33 

bond-slave-ens33  18ddbe97-d46c-402b-9a95-8c7fb2e6fe5f  802-3-ethernet  -- 

# 3、启用

[root@localhost ~]# nmcli connection up bond-slave-ens33

Connection successfully activated (D-Bus active path: /org/freedesktop/NetworkManager/ActiveConnection/5)

[root@localhost ~]# nmcli connection up bond-slave-ens36

Connection successfully activated (D-Bus active path: /org/freedesktop/NetworkManager/ActiveConnection/6)

[root@localhost ~]# nmcli connection up bond0

Connection successfully activated (master waiting for slaves) (D-Bus active path: /org/freedesktop/NetworkManager/ActiveConnection/7)

# 4、查看链接信息并测试

[root@localhost ~]# cat /proc/net/bonding/bond0

Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)

 

Bonding Mode: fault-tolerance (active-backup)

Primary Slave: None

Currently Active Slave: ens33

MII Status: up

MII Polling Interval (ms): 100

Up Delay (ms): 0

Down Delay (ms): 0

 

Slave Interface: ens33

MII Status: up

Speed: 1000 Mbps

Duplex: full

Link Failure Count: 0

Permanent HW addr: 00:0c:29:c9:c6:16

Slave queue ID: 0

 

Slave Interface: ens36

MII Status: up

Speed: 1000 Mbps

Duplex: full

Link Failure Count: 0

Permanent HW addr: 00:0c:29:c9:c6:20

Slave queue ID: 0

# 删除

[root@localhost ~]# nmcli connection delete bond0 bond-slave-ens33 bond-slave-ens36

centos7 centos bond1 bond

ubuntu 18.04 bond0 bond