变而不变:我看分布式系统发展和阿里实践

  1. 云栖社区>
  2. 阿里巴巴大数据 —玩家社区>
  3. 博客>
  4. 正文

变而不变:我看分布式系统发展和阿里实践

云计算小粉 2016-11-10 21:07:40 浏览3463
展开阅读全文

大数据计算服务(MaxCompute)是一种快速、完全托管的PB/EB级数据仓库解决方案。具备万台服务器扩展能力和跨地域容灾能力,是阿里巴巴内部核心大数据平台,支撑每日百万级作业规模。

MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。

相对而言,Reshuffle数据需要落盘,因为Resuffle把多个机器联系起来,出错概率大大增加。但是落盘大大降低了系统的性能,如果只是简单用network的方式来Shuffle数据,则不能容错。

而MaxCompute采用Network-Disk的可自适应性的channel来进行Data-Shuffle。

在MaxComputeAPI取舍中,二八原则体现得十分明显。流计算用户80%对latency更为

网友评论

登录后评论
0/500
评论
云计算小粉
+ 关注