天任务依赖分钟任务

  1. 云栖社区>
  2. 阿里云DataWorks>
  3. 博客>
  4. 正文

天任务依赖分钟任务

dataworks@李珍珍 2019-03-22 14:06:31 浏览4807
展开阅读全文

分钟依赖天调度

背景

每5分钟抽取一次数据,待每天0:00的同步任务抽取完成后,对当天总共288次同步任务抽取的所有数据进行计算。

实现思路

本次实验涉及的大数据产品有MaxCompute(大数据计算服务)DataWorks(数据工场,原大数据开发套件)

创建一个同步任务为上游,一个SQL为下游;
同步任务调度时间设置为每5分组调度一次(开始时间0:00,结束时间23:59,时间间隔5分钟),并配置[依赖上一周期-本节点]以形成自依赖;
SQL任务设置为每天0:00调度一次。

实现原理

在DataWorks调度系统中,下游对上游的依赖遵循原则为:下游任务生成的实例会找到当天离自己最近结束的一个上游实例作为上游依赖,如上游依赖实例运行成功,才会触发本节点实例运行。
如上游节点每天生成多个实例,则下游无法识别是哪一个实例离它最近结束,因此

网友评论

登录后评论
0/500
评论