用Aliyun E-MapReduce集群的sqoop工具和数据库同步数据如何配置网络

  1. 云栖社区>
  2. 阿里云E-MapReduce(EMR)>
  3. 博客>
  4. 正文

用Aliyun E-MapReduce集群的sqoop工具和数据库同步数据如何配置网络

鸿初 2016-05-13 17:49:58 浏览4479
展开阅读全文

如果您的E-MapReduce集群需要和集群之外的数据库同步数据,需要确保网络是联通的。本文就RDS,ecs自搭,云下私有数据库三种情况,分别介绍如何配置网络。

一.RDS

经典网络RDS

想要访问经典网络RDS,EMR(E-MapReduce,下同)最好也指定用经典网络。

经典网络的RDS 可以设置内网地址和外网地址。由于经典网络EMR集群只有master节点可以访问公网,并且sqoop是用map任务同步数据可能在任意节点上运行,所以sqoop任务需要配置连接RDS的内网地址来连接。另外,需要确保EMR集群的内网ip在RDS白名单里。

图1. RDS内网地址
rds_

图2. EMR创建集群指定经典网络类型
_

VPC网络RDS

如果RDS在VPC网络下,EMR集群也需要指定用VPC网络。最好让EMR集群和RDS在同一个vpc网络内,这样可以直接访问RDS地

网友评论

登录后评论
0/500
评论
鸿初
+ 关注
所属云栖号: 阿里云E-MapReduce(EMR)