概述

容器是相比于虚拟机(Virtual Machine，VM)更轻便，部署更方便快捷的一种虚拟化技术。 Docker是目前主流的容器引擎，支持Linux，Windows等多种平台，同时支持Kubernetes(K8S), Swarm及Rocket(RKT)等主流Docker编排系统。常见的容器网络支持Bridge，Overlay，Host及用户自定义网络等多种模型，K8S等系统依赖于容器网络接口(Container Network Interface, CNI)插件来完成网络管理，常见的有Calico/Flannel等知名CNI插件。本文将介绍一些容器网络的基本知识，基于阿里云的弹性网络接口（Elastic Network Interface， ENI）技术实现了ECS容器网络的高性能，易部署及维护， 具有强隔离的高安全容器网络。

多网卡容器网络

方案介绍

方案特点

VPC直通

跨VPC

容器多网卡直通方案，直接接入了VPC网络平面，因此可以可以使用VPC的一些高级功能，例如能够使用peer 功能，也可以使用跨VPC的弹性网卡访问云产品, 也可以给容器分配多个不通VPC内的弹性网卡，使其能够同时跨多个VPC。

高性能

强隔离

易管理

支持DPDK

背景介绍

容器网络

1>  宿主机1上容器发送出报文通过VETH传输到VM内部的Linux Bridge上， LinuxBridge运行转发逻辑将报文VM内的NIC发送到位于宿主机上的vSwitch。
2> 宿主机2上VM收到vSwitch发送的报文，通过LinuxBridge的转发逻辑后由VETH发送给容器

虚拟机多网卡

资源限制

动态热插拔

配置实践

1. 在阿里云控制台部署创建虚拟机实例，创建实例时候选择支持多网卡， 在虚拟机内部能够看到多张网卡：

1. 在虚拟机内部部署容器应用：

～# docker run -itd --net none ubuntu:16.04

1. 登录到VM内部， 将其中一个NIC绑定到容器命名空间， 在下面的例子中，新动态插入的网络接口卡为eth2， 容器的网络命名空间为2017（为方便区分，以docker inspect看到的PID作为网络命名空间名）

~# mkdir /var/run/netns
~# ln -sf /proc/2017/ns/net /var/run/netns/2017
~# ip link set dev eth2 netns 2017
~# ip netns exec 2017 ip link set eth2 name eth0
~# ip netns exec 2017 ip link set eth0 up
~# ip netns exec 2017 dhclient eth0

1. 在VM内及容器内查看NIC配置状态：

～# ifconfig -a

/# ifcofig -a

1. 重复步骤1～4启动另一个VM及容器。
2. 使用sockperf等工具进行性能测试及对比。

$ cat server.sh

#!/bin/bash
for i in $(seq 1 $1)
do
    sockperf server --port 123`printf "%02d" $i` &
done

$ sh server.sh 10

$ cat client.sh

#!/bin/bash
for i in $(seq 1 $1)
do
    sockperf tp -i 192.168.2.35 --pps max --port 123`printf "%02d" $i` -t 300 &
done

$ sh client 10

总结

附录1. 业务实测

Tier-Base(tbase) 是一个跟Redis类似的分布式KV数据库，使用C++语言编写，几乎支持所有的Redius数据结构，同时支持 RocksDB作为后端. tbase在蚂蚁金服里面比较常用，本章节将介绍本方案tbase业务实测情况。

传统LinuxBridge测试

测试环境

测试报告

ENI 多网卡测试

测试环境

测试报告

 测试结论

附录2. 相关链接