MaxCompute/DataWorks 数据集成与开发实践

  1. 云栖社区>
  2. 阿里巴巴大数据 —玩家社区>
  3. 博客>
  4. 正文

MaxCompute/DataWorks 数据集成与开发实践

隐林 2017-12-08 19:26:21 浏览7078
展开阅读全文

摘要:在2017杭州云栖大会阿里云数加DataWorks专场上,阿里云产品专家代俊峰(花名:普阳)为大家分享了如何借助阿里云数加DataWorks工具进行数据集成和开发,分享了如何借助DataWorks实现从数据处理手工作坊到数据加工工厂的跨越转变。

 

本文内容根据嘉宾演讲视频以及PPT整理而成。

 

从整体的角度来看,数据的开发主要包括以下五个环节:

1.         总体架构

2.         数据集成

3.         数据建模

4.         数据开发

5.         运维调度

859f6b0fb089638d03228ce7d2e4a386e62c3025

 

一、总体架构

其实DataWorks在2009年9月份的时候就已经开始研发了,当时还是基于Hadoop的体系进行研发的。谈到为什么要研发DataWorks这样的一个工具,其实是因为在没有DataWorks工具的时候,很多数据的开发工作是非常痛

网友评论

登录后评论
0/500
评论