ODPS技术架构及应用实践

  1. 云栖社区>
  2. 博客>
  3. 正文

ODPS技术架构及应用实践

sheeta 2016-03-07 11:14:46 浏览6728
展开阅读全文

本文来自《程序员》与阿里云联合出品的《凌云》杂志。

作者:李妹芳 张云远 


初识ODPS

 

     ODPS是分布式的海量数据处理平台,提供了丰富的数据处理功能和灵活的编程框架,主要的功能组件有如下几个。

 

     ■Tunnel服务:数据进出ODPS的唯一通道,提供高并发、高吞吐量的数据上传和下载服务。

 

     ■SQL:基于SQL92并进行了本地化扩展,可用于构建大规模数据仓库和企业BI系统,是应用最为广泛的一类服务。

 

     ■DAG编程模型:类似Hadoop MapReduce,相对SQL更加灵活,但需要一定的开发工作量,适用于特定的业务场景或者自主开发新算法等。

 

     ■Graph编程模型:用于大数据量的图计算功能开发,如计算PageRank。

 

     ■XLIB:提供诸如SVD分解、逻辑回归、随机森林等分布式算法

网友评论

登录后评论
0/500
评论
sheeta
+ 关注