阿里云EMR产品介绍及常见问题解答

  1. 云栖社区>
  2. 飞天解决方案>
  3. 博客>
  4. 正文

阿里云EMR产品介绍及常见问题解答

耿纯 2018-03-29 17:12:13 浏览6729
展开阅读全文

一、大数据概述

0ebfcaf38d5754e624f65c219dcf5b3680420085

二、视频大客户对于数据中心的需求

0b1c9ba962480512a299a4b5a87e888e037ab459

ce5a577ee72c39067a47ad8fbd40393adfa93a16

三、传统大数据技术演进

64fb8f5959e676ee8320b44f871a5ccbc165d253

四、EMR介绍

43b46417fab6d4157a9f186ed956a38aefee869c

五、为什么选择EMR

弹性动态伸缩

    基于ECS之上,快捷的扩容、缩容EMR Hadoop集群。

灵活软件栈选择

灵活、快速部署开源大数据服务(HBase、Kafka、Impala、Flink等)。

数据存储成本低

D1机型使用本地盘,价格远低于云盘;OSS低成本存储冷数据。

运维机制

钉钉群支持,快速解决集群使用问题。减少运维工作,更专注于业务。

六、典型问题及解决方案

数据迁移问题

Hive,HBase数据库结构同步,HDFS数据PB级历史数据同步。如何保证线上实时任务不受影响?

元数据库同步:Hadoop distcp filter (Hadoop 2.8之后支持)。Flume配置双写,多个sink。

数据倾斜问题

现象:MapReduce任务卡在最后一个或几个Re

网友评论

登录后评论
0/500
评论
耿纯
+ 关注
所属团队号: 飞天解决方案