DataWorks2.0的“业务流程”与1.0的“工作流”的对比

简介: DatwWorks终于升级2.0了,心情万分激动之余,又有一丝担忧。因为,没法再创建新的旧版工作流了。。。新版抛弃了“工作流”这个概念,引入了“业务流程”和“解决方案”两个新的概念。于是,作为团队Leader,我花了很大的精力去钻研这两个概念到底该如何应用在我的实际业务中。

DatwWorks终于升级2.0了,心情万分激动之余,又有一丝担忧。因为,没法再创建新的旧版工作流了。。。
新版抛弃了“工作流”这个概念,引入了“业务流程”“解决方案”两个新的概念。于是,作为团队Leader,我花了很大的精力去钻研这两个概念到底该如何应用在我的实际业务中。

1.目的

能尽快应用DataWorks2.0的诸多给力新功能;
尽快解决掉由于无法新建旧版工作流引起的不便;

2.旧版工作流划分

任务节点一般分为以下几类:

  • 源数据同步节点
  • 单业务基础数据层统计节点
  • 跨业务基础数据层统计节点
  • 结果数据层统计节点
  • 结果数据同步节点

2.1 划分维度

旧版本的工作流,主要包含以下几个维度:

2.1.1 源数据库

  • 数据源是在哪个数据库中
  • 包括:源数据同步节点

2.1.2 产品线

  • 源数据属于哪个产品线
  • 包括:源数据同步节点 + 单业务基础数据层统计节点

2.1.3 目标系统

  • 结果数据是给哪个系统提供的(后台系统、BI、DataV、……)
  • 包括:结果数据层统计节点 + 结果数据同步节点

2.1.4 业务模块

  • 结果数据属于哪个业务模块(订单+投诉、订单+保险、商家+订单、……)
  • 包括:跨业务基础数据层统计节点 + 结果数据层统计节点 + 结果数据同步节点

2.1.5 运行周期

  • 每日、每周、每月运行
  • 包括:所有节点

2.1.6 输入/统计/输出

  • 包含的节点的类型,是属于“源数据迁入”、“统计任务”还是“结果数据迁出”
  • 包括:所有节点

2.2 其他划分原则

  1. 尽量减少每个工作流所依赖的上游工作流的个数;
  2. 能用一句话给整个工作流起个名字;
  3. 每个工作流内的节点数量不超过30个;

3. 旧版工作流与新版业务流程的区别

3.1 运行周期

  • 旧版工作流:
    整个工作流(包含多个内部节点),对应一个运行周期
  • 新版业务流程:
    每个节点,对应一个运行周期

3.2 依赖关系

  • 旧版工作流:

    1. 工作流依赖工作流;
    2. 内部节点依赖内部节点;
  • 新版业务流程:

    1. 业务流程之间,无依赖关系;
    2. 节点依赖节点,可以跨业务流程依赖,可以不同运行周期的任务间依赖。

3.3 节点的分类

  • 旧版工作流:
    无分类,只能通过内部节点的命名来区分
  • 新版业务流程:
    可以自动按节点类型分类(SQL节点、数据同步节点、机器学习节点、……)

3.4 工作流(业务流程)的分类

  • 旧版工作流:
    无分类,只能通过工作流的命名来区分
  • 新版业务流程:
    可以通过“解决方案”功能来分类(类似于给每个业务流程打标签),“业务流程”与“解决方案”是“多对多”的关系。

3.5 提交范围

  • 旧版工作流:
    整个工作流(包含多个内部节点)一起提交
  • 新版业务流程:
    单个任务节点提交。也支持业务流程中多个节点批量提交的方式。

3.6 重命名

  • 旧版工作流:

    1. 工作流不支持重命名;
    2. 内部节点不支持重命名;
  • 新版业务流程:

    1. 业务流程支持重命名;
    2. 节点支持重命名;

3.7 添加文件夹的位置

  • 旧版工作流:
    多级文件夹→工作流→内部节点
  • 新版业务流程:
    业务流程→数据集成/数据开发→多级文件夹→节点

4. 业务流程划分原则

最后,关于我的业务流程的划分原则,总结如下:

  1. 业务流程是完成一个最小业务的;
  2. 业务流程的数量可以稍微多一点儿,可以通过解决方案去查找;
  3. 每个业务流程里的节点最好不要太多,每个业务流程里能直观展示的就只有那么多;

希望大家也能早日用上DataWorks2.0的诸多给力功能!不用继续在旧版工作流中缝缝补补。

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始,十ー年里一直支持阿里巴巴集团内部数据中台的建设,2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks,承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标  通过讲师的详细讲解与实际演示,学员可以一边学习一边进行实际操作,可以深入了解DataWorks各大模块的使用方式和具体功能,让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解,加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
目录
相关文章
|
运维 DataWorks 数据可视化
《阿里云飞天大数据平台 DataWorks 前端技术解密:工作流调度可视化》(脱敏版本)
## ![image.png](https://intranetproxy.alipay.com/skylark/lark/0/2021/png/13481/1614773723538-e8d99a86-b04d-47bb-86ad-90cdb07ac657.png#height=220&id=QQWI7&margin=%5Bobject%20Object%5D&name=image.png&or
673 0
|
1月前
|
分布式计算 DataWorks 安全
DataWorks常见问题之如何迁移业务流程到其他项目
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
29 0
|
1月前
|
SQL DataWorks 数据可视化
dataworks常见问题之工作流可以成环如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
31 5
|
3月前
|
DataWorks
DataWorks的周期业务流程怎么设置并发?
【1月更文挑战第25天】【1月更文挑战第121篇】DataWorks的周期业务流程怎么设置并发?
27 0
|
3月前
|
DataWorks 对象存储 数据安全/隐私保护
dataworks多个业务流程上传同名资源到同一个oss url会有什么问题?
【1月更文挑战第20天】【1月更文挑战第98篇】dataworks多个业务流程上传同名资源到同一个oss url会有什么问题?
111 1
|
3月前
|
DataWorks 调度
DataWorks的周期业务流程怎么设置并发?
DataWorks的周期业务流程怎么设置并发?
31 2
|
4月前
|
DataWorks 定位技术 数据库
DataWorks数据地图中没手工同步就可以查到修改后的表名,但是业务流程中【表结构】还是没有变化?
DataWorks数据地图中没手工同步就可以查到修改后的表名,但是业务流程中【表结构】还是没有变化?
32 1
|
5月前
|
DataWorks
DataWorks的迁移功能可以将一个空间下的业务流程迁移到另一个空间
DataWorks的迁移功能可以将一个空间下的业务流程迁移到另一个空间
84 1
|
7月前
|
DataWorks
DataWorks发布后的任务为啥会关联其它业务流程中的任务节点?
DataWorks发布后的任务为啥会关联其它业务流程中的任务节点?
54 1
|
SQL 分布式计算 运维
Azkaban业务流程如何转化为DataWorks业务流程
用户在迁移上云的时候,需要将云下的的Azkaban任务迁移上云,之前通过用户在DataWroks一步步创建对应的业务流程,其转化难度和转化时间都是一定的成本和时间,但如何能做到省时省力的方式迁移,为此本文提供了使用迁移助手解决业务流程上云迁移的的问题,本文模拟Azkaban业务流程到入到DataWorks的操作过程,方便大家参阅。
1492 0