备案控制台
探索云世界
开发者社区 飞天洛神云网络 弹性公网IP 正文

ECS弹性网卡+弹性公网IP配置最佳实践之策略路由

2018-09-02 5763
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 目前阿里云ECS部分机型可以配置多张网卡（一张原生网卡+若干张弹性网卡），用来实现业务上对于系统内多网卡的需求，详细可以参考 【新功能】弹性公网IP绑定弹性网卡新功能及最佳实践 。在使用过程中，可能会遇到多个弹性公网IP绑定到一个ECS上的原生网卡、弹性网卡上后无法通信的问题，这个时候需要检查系统内的路由配置和策略（policy rules）。

概述

目前阿里云ECS部分机型可以配置多张网卡（一张原生网卡+若干张弹性网卡），用来实现业务上对于系统内多网卡的需求，详细可以参考 [【新功能】弹性公网IP绑定弹性网卡新功能及最佳实践
](https://yq.aliyun.com/articles/629383?spm=a2c4e.11163080.searchblog.9.30812ec15GS8P5 )。在使用过程中，可能会遇到多个弹性公网IP绑定到一个ECS上的原生网卡、弹性网卡上后无法通信的问题，这个时候需要检查系统内的路由配置和策略（policy rules）。

从route路由表说起

默认情况下，linux系统中都会有一张路由表，使用route或ip route就可以进行查看，如

default via 172.16.127.253 dev eth0
169.254.0.0/16 dev eth0 scope link metric 1002
172.16.112.0/20 dev eth0 proto kernel scope link src 172.16.115.242

以上起到关键作用的是第一行路由，它声明了一条默认路由，从eth0网卡中出去，目标是网关172.16.127.253。在只有一张网卡的实例中，这样的配置是没有问题的，但如果有多张网卡的情况下，入流量会从不同的网卡中进入实例，但出流量都会从eth0网卡中出去（譬如从外部ping 绑定在弹性网卡上的弹性公网IP，ICMP request包会从实例的弹性网卡中进入实例，而实例回复的ICMP reply包会从eth0中流出），导致出入路径不一致，会造成一系列的问题，如单网卡流量瓶颈、负载不均衡等问题。

真实的路由表

在linux系统中，实际上是有255张路由表的，默认使用的是254这张路由表，使用route命令展示的即是这张表中的路由条目。除此之外的路由表我们可以对它进行适当的配置，以实现自定义或高级需求。

我们可以使用ip route list table [table index]来查看系统内的路由表条目，如

[root@xiaoling-hz-test ~]# ip route list table 254
default via 172.16.127.253 dev eth0
169.254.0.0/16 dev eth0 scope link metric 1002
172.16.112.0/20 dev eth0 proto kernel scope link src 172.16.115.242

以上条目可以看到系统内默认的254号路由表内的条目，另外，还可以将index置为0来查看系统内所有的路由条目，这在需要循环遍历系统内自定义路由表时非常有用。

PS. table==253这张路由表被系统默认为是default表，建议使用1-252号路由表来添加自定义的路由条目。被linux预先定义的路由表详情可以查看系统内/etc/iproute2/rt_tables，以下是一个示例，可以看到253 - 255已经被系统定义：

#
# reserved values
#
255     local
254     main
253     default
0       unspec
#
# local
#
#1      inr.ruhep

策略路由

为什么会需要多张路由表呢？这不得不提到策略路由，目前我们需要实现的功能是同进同出，保证从eth0口进来的包从eth0口出去，eth1进从eth1出，但弹性公网IP需要有一条默认路由来让ECS可以正常访问公网，但却又不能直接在默认路由表里添加两个目标网段是0.0.0.0，分别从eth0、eth1中出去的路由，这个时候策略路由就派上用场了，我们需要根据源地址进行策略选择。

简单来说就是配置两张路由表，路由表中分别有从eth0、eth1中出去的默认路由，在系统需要发包时，根据包的源IP进行选择，eth0的源IP就从包含eth0的路由表出去，eth1的源IP就从eth1的路由表走，从而实现同进同出。

linux系统内关于策略的索引是一个无符号的32位整型数值，所以理论上策略索引的数值可以达到4294967295之多，当然通常我们只需要使用个位数的索引条目即可。

具体的一个配置

以上说的都是理论，可能会有一些虚，下面我们来实际进行一个配置。我们特意选取阿里云官方尚未支持自动配置的镜像Ubuntu 16.04 64位来进行配置，以下是这个场景中相关参数：

ECS实例网关地址：172.16.127.253

==原生网卡信息==
名称：eth0
IP地址：172.16.116.38
绑定的弹性公网IP：47.99.42.x

==弹性网卡信息==
名称：eth1
IP地址：172.16.116.39
绑定的弹性公网IP：116.62.163.x

如何获得ECS实例完整的网卡信息

阿里云ECS控制台对于实例的网卡信息展示的不是很完全，建议通过API方法 DescribeNetworkInterfaces 来获取，若没有API调试环境，可以使用阿里云的API Explorer来调试，非常方便，以下是一个示例 URL ，点击后可以直接进入在线调试页面。

检查系统的默认配置

依次查看网卡、默认路由，可以看到系统内的配置残缺不全：

root@iZbp14bxrlofsqs3d5dw43Z:~# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000
    link/ether 00:16:3e:0c:72:5d brd ff:ff:ff:ff:ff:ff
    inet 172.16.116.38/20 brd 172.16.127.255 scope global eth0
       valid_lft forever preferred_lft forever
3: eth1: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN group default qlen 1000
    link/ether 00:16:3e:10:aa:7e brd ff:ff:ff:ff:ff:ff
root@iZbp14bxrlofsqs3d5dw43Z:~# ip route list table 254
default via 172.16.127.253 dev eth0
172.16.112.0/20 dev eth0  proto kernel  scope link  src 172.16.116.38

首先编辑/etc/network/interfaces文件，在最后加上关于eth1的定义，新添加的两行分别告诉系统在启动时自动拉起eth1、eth1的参数配置使用DHCP协议，详细的配置说明可以参考man interfaces：

auto lo
iface lo inet loopback

auto eth0
iface eth0 inet dhcp

auto eth1
iface eth1 inet dhcp

保存后执行systemctl restart networking重启网络服务，可以看到eth1网卡已经配置上IP地址了：

root@iZbp14bxrlofsqs3d5dw43Z:~# ip address
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000
    link/ether 00:16:3e:0c:72:5d brd ff:ff:ff:ff:ff:ff
    inet 172.16.116.38/20 brd 172.16.127.255 scope global eth0
       valid_lft forever preferred_lft forever
3: eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000
    link/ether 00:16:3e:10:aa:7e brd ff:ff:ff:ff:ff:ff
    inet 172.16.116.39/20 brd 172.16.127.255 scope global eth1
       valid_lft forever preferred_lft forever

接下去就需要配置策略路由了，针对这个场景，我们定义了以下信息：

==原生网卡==
使用路由表100，策略路由优先级索引为200
添加路由的命令（网关地址根据实际情况而定）：ip route add default via 172.16.127.253 dev eth0 tab 100
添加策略的命令（源IP根据实际情况而定）：ip rule add from 172.16.116.38 tab 100 priority 200

==弹性网卡==
使用路由表101，策略路由优先级索引为300
添加路由的命令（网关地址根据实际情况而定）：ip route add default via 172.16.127.253 dev eth1 tab 101
添加策略的命令（源IP根据实际情况而定）：ip rule add from 172.16.116.39 tab 101 priority 300

执行以上命令后，系统内策略路由就已经配好了，通过相关命令查看的结果如下（已经略去无关信息）：

root@iZbp14bxrlofsqs3d5dw43Z:~# ip route list table 0
default via 172.16.127.253 dev eth0  table 100
default via 172.16.127.253 dev eth1  table 101
default via 172.16.127.253 dev eth0
172.16.112.0/20 dev eth0  proto kernel  scope link  src 172.16.116.38
172.16.112.0/20 dev eth1  proto kernel  scope link  src 172.16.116.39
root@iZbp14bxrlofsqs3d5dw43Z:~# ip rule list
0:      from all lookup local
200:    from 172.16.116.38 lookup 100
300:    from 172.16.116.39 lookup 101
32766:  from all lookup main
32767:  from all lookup default

可以看到系统中增加了table==100、101的两张路由表，增加了200、300两个优先级的策略，分别指定eth0、eth1出入的规则，这样就可以做到一张网卡同进同出了。

持久化配置

以上的配置，除了网卡的IP信息可以持久化，其他的配置如路由、策略都会在重启后失效，可以把以上命令写到系统的配置文件中。理论上更优雅的方法是在/etc/sysconfig/network-scripts/ (CentOS) 、 /etc/network/ (Ubuntu)目录下将命令写到特定的文件中来解决这个问题，但无奈无法测试所有的场景，我采取了比较“暴力”的方法来统一的解决：将命令写到/etc/rc.local文件中，可以无视发行版。

比如本文中的场景，就可以将四条ip route/ip rule命令添加到rc.local中：

root@iZabcdeZ:~# vim /etc/rc.local

ip route add default via 172.16.127.253 dev eth0 tab 100
ip rule add from 172.16.116.38 tab 100 priority 200
ip route add default via 172.16.127.253 dev eth1 tab 101
ip rule add from 172.16.116.39 tab 101 priority 300

阿里云原生的做法

查看阿里云官方关于配置 ECS 实例的弹性网卡的说明，以下几种镜像是可以直接支持不需要手工配置：

CentOS 7.3 64 位
CentOS 6.8 64 位
Windows Server 2016 数据中心版 64 位
Windows Server 2012 R2 数据中心版 64 位

实际上CentOS系统内部也是采用了类似的策略来实现的，使用ip route和ip rule命令可以查看到响应的策略，只是路由表索引和策略路由的优先级序号有些许不同，各位可以实际验证一下。

参考文献

  1. https://www.linuxjournal.com/article/7291
文章标签：
云服务器 ECS
弹性公网IP
索引
弹性计算
Linux
API
关键词：
云服务器 ECS配置
弹性公网IP配置
云服务器 ECS网卡
云服务器 ECS最佳实践
云服务器 ECS弹性公网ip
相关实践学习
一小时快速掌握 SQL 语法
本实验带您学习SQL的基础语法，快速入门SQL。
7天玩转云服务器
云服务器ECS（Elastic Compute Service）是一种弹性可伸缩的计算服务，可降低 IT 成本，提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情:&nbsp;https://www.aliyun.com/product/ecs
霄翎
目录
相关文章
薛伟同学
|
26天前
|
消息中间件 安全 Unix
SSH配置多台服务器之间的免密登陆以及登陆别名
SSH配置多台服务器之间的免密登陆以及登陆别名
薛伟同学
34 1
程序媛在线
|
7天前
|
存储 弹性计算 固态存储
阿里云服务器CPU内存配置详细指南，如何选择合适云服务器配置？
阿里云服务器配置选择涉及CPU、内存、公网带宽和磁盘。个人开发者或中小企业推荐使用轻量应用服务器或ECS经济型e实例，如2核2G3M配置，适合低流量网站。企业用户则应选择企业级独享型ECS，如通用算力型u1、计算型c7或通用型g7，至少2核4G配置，公网带宽建议5M，系统盘可选SSD或ESSD云盘。选择时考虑实际应用需求和性能稳定性。
程序媛在线
107 6
神秘泣男子
|
2天前
|
Web App开发 安全 Unix
Linux 配置FTP服务器 + vsftpd服务安装配置 （Good篇）
Linux 配置FTP服务器 + vsftpd服务安装配置 （Good篇）
神秘泣男子
16 1
弹性计算小冉
|
2天前
|
存储 弹性计算 固态存储
阿里云服务器租用价格参考，2核16G、4核32G、8核64G配置收费标准
阿里云服务器2核16G、4核32G、8核64G配置最新租用价格更新，2024年阿里云产品再一次降价，降价之后2核16G配置按量收费最低收费标准为0.596元/小时，按月租用标准收费标准为260.44元/1个月。4核32G配置的阿里云服务器按量收费标准最低为1.085元/小时，按月租用标准收费标准为520.88元/1个月。8核64G配置的阿里云服务器按量收费标准最低为2.17元/小时，按月租用标准收费标准为1041.77元/1个月。云服务器实例规格的地域和实例规格不同，收费标准不一样，下面是2024年阿里云服务器2核16G、4核32G、8核64G配置的最新租用收费标准。
弹性计算小冉
54 5
阿里云服务器租用价格参考，2核16G、4核32G、8核64G配置收费标准
Byyyi
|
3天前
|
PyTorch TensorFlow 算法框架/工具
【科研入门】搭建与配置云服务器的论文环境
本文介绍了如何搭建云服务器并配置论文代码环境，以AutoDL平台为例。首先，租用服务器并选择符合代码需求的镜像版本，如Python 3.7、TensorFlow 1.15和PyTorch。接着，启动服务器进入终端，克隆项目代码并使用Conda创建隔离的环境安装所需包。如果需在Pycharm中工作，还需在Pycharm内创建相同环境。最后，根据项目配置安装Tensorflow和PyTorch，遇到缺失包时通过`pip install`补充。完成配置后，可克隆服务器以备后续使用。遇到版本不兼容问题，可调整Conda环境的Python版本。
Byyyi
13 1
【科研入门】搭建与配置云服务器的论文环境
上云小帮手
|
3天前
|
存储 弹性计算 固态存储
阿里云服务器配置选择指南，2024年全解析
阿里云服务器配置选择涉及CPU、内存、带宽和磁盘。个人开发者或中小企业推荐使用轻量应用服务器或ECS经济型实例，如2核2G3M配置，适合网站和轻量应用。企业用户则应选择企业级独享型ECS，如计算型c7、通用型g7，至少2核4G起，带宽建议5M，系统盘考虑SSD云盘或ESSD云盘以保证性能。阿里云提供了多种实例类型和配置，用户需根据实际需求进行选择。
上云小帮手
28 0
程序媛在线
|
8天前
|
存储 弹性计算 固态存储
阿里云服务器配置怎么选择合适？收藏级教程大家参考下
阿里云服务器配置选择涉及CPU、内存、带宽和磁盘。个人开发者或中小企业推荐使用轻量应用服务器或ECS经济型实例，如2核2G3M配置，适合低流量网站。企业用户应选择企业级独享型ECS，如通用算力型u1、计算型c7或通用型g7，至少2核4G配置，公网带宽建议5M，系统盘可选SSD或ESSD云盘。具体配置需根据实际应用需求来定。
程序媛在线
20 0
老秦包你会
|
8天前
|
Apache 项目管理 数据安全/隐私保护
TortoiseSVN客户端如何安装配置并实现公网访问服务端提交文件到本地服务器
TortoiseSVN客户端如何安装配置并实现公网访问服务端提交文件到本地服务器
老秦包你会
25 0
云服务器小助手
|
9天前
|
存储 弹性计算 运维
深度解读：阿里云服务器ECS经济型e实例配置整理和性能参数表
阿里云推出经济型ECS e系列服务器，适用于个人开发者、学生和小微企业。该系列采用Intel Xeon Platinum处理器，支持多种CPU内存配比，性价比高，2核2G3M配置只需99元/年，新老用户不限量购买且续费不涨价。提供相同可用性SLA和安全标准，具备ESSD Entry云盘等企业级特性。适合中小型网站、开发测试和轻量级应用
云服务器小助手
44 0
魏红斌
|
9天前
|
弹性计算 运维 安全
一键配置VNC 远程桌面服务器
【4月更文挑战第29天】
魏红斌
12 0
飞天洛神云网络

弹性公网IP

热门文章

最新文章

  • 1
    阿里云发布固定公网IP升级为弹性公网IP功能
  • 2
    弹性公网EIP，让网络更自由、灵活
  • 3
    使用Loadrunner 调用Webservice接口测试优化总结
  • 4
    基数估计
  • 5
    《软件工艺师：专业、务实、自豪》一第3章
  • 6
    阿里云公网ip和弹性公网ip区别对比详解
  • 7
    阿里云弹性公网EIP香港BGP多线和精品BGP多线的区别
  • 8
    一、基于Fortinet的出海业务访问加速方案--详细部署步骤
  • 9
    阿里云弹性公网IP(EIP)简介及价格介绍
  • 10
    VPC实例公网IP转弹性公网IP功能
  • 1
    二、基于Fortinet的出海业务访问加速方案--注册、创建Fortinet用户
    13
  • 2
    一、基于Fortinet的出海业务访问加速方案--详细部署步骤
    23
  • 3
    阿里云弹性公网EIP是什么？EIP价格和配置使用方法
    424
  • 4
    阿里云弹性公网IP(EIP)简介及价格介绍
    552
  • 5
    阿里云弹性公网IP介绍_EIP_独立公网IP资源_Anycast公网加速
    163
  • 6
    阿里云弹性公网IP和固定IP地址有什么区别？
    422
  • 7
    阿里云弹性公网IP(EIP)介绍
    407
  • 8
    阿里云弹性公网ip（EIP）是什么？
    540
  • 9
    阿里云弹性公网IP_EIP_独立公网IP资源_Anycast公网加速详细介绍
    145
  • 10
    阿里云EIP是什么意思？弹性公网IP可独立持有公网IP地址资源
    194

    • 相关课程

    更多
  • ECS上云入门三部曲
  • 服务器硬件基础
  • Linux Web服务器Nginx搭建与配置
  • 7天玩转云服务器
  • 云服务器选型、迁云最佳实践
  • 云服务器ECS基本操作

    • 相关电子书

    更多
  • 如何运维千台以上游戏云服务器
  • 网站/服务器取证 实践与挑战
  • ECS计算与存储分离架构实践

    • 相关实验场景

    更多
  • 使用阿里云ECS监控您的特斯拉
  • 使用阿里云ECS安装家用内网穿透服务
  • ECS实例选型最佳实践
  • ECS服务保活和宕机启动
  • 云原生场景自动化响应ECS系统事件
  • 幻兽帕鲁联机服务快速部署【有ECS用户】
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）