云栖问答

找不到答案?去提问题

2016-10-26 20:13:02

[问题整理] 为什么开发MaxCompute?和类似的开源项目有啥异同?


来源: [直播] 双剑合璧:Python与大数据计算平台结合实践

刚才没听清,希望老师解释下~

2个回答

0

继盛

MaxCompute是通用的离线计算平台,对应的是hadoop。

不同的是,MaxCompute完全是阿里自主研发,而且阿里自己所有离线数据均是在MaxCompute上计算的。所以经受了考验。

PyODPS DataFrame本身支持扩展,现在只实现了MaxCompute和pandas的计算后端,很容易扩展到其他平台。

0

萧宇@52

数据可以通过Tunnel组件进入MaxCompute,Tunnel是一个非常注意吞吐量同时又尽可能追求数据严格一致的输入输出接口;在这条通道上再往前延伸,还有开源软件Sqoop、Kettle以及阿里巴巴自研的开源软件DataX。

1
GO
1831
浏览
0
收藏
邀请他人回答