使用DataWorks调度DLA循环任务

  1. 云栖社区>
  2. 阿里云Data Lake Analytics>
  3. 博客>
  4. 正文

使用DataWorks调度DLA循环任务

金络 2019-04-12 17:05:28 浏览2538
展开阅读全文

DataWorks是阿里云上的一款热门产品,可以为用户提供大数据开发调度服务。它支持了Data Lake Analytics(后文简称DLA)以后,DLA用户可以通过它进行定时任务调度,非常方便。本文将主要介绍如何使用DataWorks调度DLA的循环任务。

场景

使用DLA对历史数据按天做清洗。数据清洗的SQL是固定的,只是每次执行的时候需要传入不同的日期。

对于这个场景,我们需要:

  1. 部署一个赋值节点。该节点负责输出日期值,并作为下游循环节点的输入。
  2. 部署一个循环节点。该节点包含用来做数据清洗的一个或者一组SQL,其中关于日期取值是一个变量。每次循环输入值由赋值节点提供。

DataWorks操作

步骤一:新建业务流程和节点

登录DataWorks的控制台,并创建一个业务流程或使用原有的业务流程。
1

在新建的业务流程下,创建一个赋值节点和一个循环节点

网友评论

登录后评论
0/500
评论
金络
+ 关注
所属云栖号: 阿里云Data Lake Analytics