业务流程多节点依赖调度配置实践

简介: 在DataWorks业务流程开发过程。一个业务流程通常是由很多个数据同步、数据开发节点组成的。这很多个业务节点的上下游节点的连接通过执行顺序先后进行连接,系统自动就行上下游解析。这里主要用于测试在一个业务流程过程中根据业务需求进行节点连接之后自动解析上下游是否会发生错误。

一、实验目的:
在DataWorks业务流程开发过程。一个业务流程通常是由很多个数据同步、数据开发节点组成的。这很多个业务节点的上下游节点的连接通过执行顺序先后进行连接,系统自动就行上下游解析。这里主要用于测试在一个业务流程过程中根据业务需求进行节点连接之后自动解析上下游是否会发生错误。
二、实验步骤:
1、创建一个业务流程
2、创建一个start节点
3、创建五个数据同步节点
4、创建五个数据开发节点
5、根据业务需求进行节点上下文连线,如下图所示:
image

6、配置start节点的上游为工作空间根节点,点击提交
7、检查每个节点的上下游节点通过连接之后自动解析的结果和业务需求是否一致。
业务需求:
(1)start节点:
工作空间根节点--->start节点--->LogHub(数据同步)、MaxCompute(数据同步)、Hadoop(数据同步)、DataHub(数据同步)、Kafka(数据同步)、Dandu(数据开发)
image

(2)Hadoop(数据同步)
start--->Hadoop(数据同步)--->hadoopp(数据开发)
image

(3)LogHub(数据同步)
start--->LogHub(数据同步)--->hadoopp(数据开发)
image

(4)MaxCompute(数据同步)
start--->MaxCompute(数据同步)--->hadoopp(数据开发)
image

(5)DataHub(数据同步)
start--->DataHub(数据同步)--->loghubb(数据开发)
image

(6)Kafka(数据同步)
start--->Kafka(数据同步)--->loghubb(数据开发)
image

(7)Dandu(数据开发)
start--->Dandu(数据开发)--->dandu_jiedian(数据开发)
image

(8)hadoopp(数据开发)
Hadoop(数据同步)、LogHub(数据同步)、MaxCompute(数据同步)--->hadoopp(数据开发)--->huiju_jiedian(数据开发)
image

(9)loghubb(数据开发)
DataHub(数据同步)、Kafka(数据同步)--->loghubb(数据开发)--->huiju_jiedian(数据开发)
image

(10)dandu_jiedian(数据开发)
Dandu(数据开发)--->dandu_jiedian(数据开发)
image

(11)huiju_jiedian(数据开发)
loghubb(数据开发)、hadoopp(数据开发)--->huiju_jiedian(数据开发)
image

三、实验结果:
检测自动解析节点上下文依赖和业务需求的依赖关系是一致的。
四、实验总结:
在调度系统中,每一个工作空间中默认会创建一个projectname_root节点作为根节点。如果本节点没有上游节点,可以直接依赖根节点。
依赖属性中配置节点的上游依赖,表示即使当前节点的实例已经到定时时间,也必须等待上游节点的实例运行完毕,才会触发运行。
点击链接加入 MaxCompute开发者社区2群 https://h5.dingtalk.com/invite-page/index.html?bizSource=____source____&corpId=dingb682fb31ec15e09f35c2f4657eb6378f&inviterUid=E3F28CD2308408A8&encodeDeptId=0054DC2B53AFE745
或扫码加入
67cc36b608a5035daec4f4e0f99833039231bab0

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
资源调度 分布式计算 安全
伏羲—阿里云分布式调度系统
在12月12日的云栖社区在线培训上,“飞天”分布式系统核心开发人员陶阳宇分享了《伏羲-阿里云分布式调度系统》。他主要从伏羲系统架构、任务调度、资源调度、容错机制、规模挑战、安全与性能隔离方面介绍了伏羲分布式系统架构和设计理念。
21533 0
|
25天前
|
Kubernetes 安全 Java
运维人少,如何批量管理上百个微服务、上千条流水线?
云效 AppStack 平台针对微服务和云原生环境下的应用管理难题,提供了以应用为中心的资源、流水线和权限管理解决方案。
|
11月前
|
存储 缓存 固态存储
白话Elasticsearch63-生产集群部署之硬件配置、jvm以及集群规划建议
白话Elasticsearch63-生产集群部署之硬件配置、jvm以及集群规划建议
126 0
|
运维 Cloud Native 数据可视化
KubeVela 1.7 版本解读: 接管你的已有工作负载
KubeVela 1.7 版本已经正式发布一段时间,在此期间 KubeVela 正式晋级成为了 CNCF 的孵化项目,开启了一个新的里程碑。而 KubeVela 1.7 本身也是一个转折点,由于 KubeVela 从一开始就专注于可扩展体系的设计,对于控制器核心功能的需求也开始逐步收敛,我们开始腾出手来更加专注于用户体验、易用性、以及性能。在本文中,我们将重点挑选 1.7 版本中的工作负载接管、性
KubeVela 1.7 版本解读: 接管你的已有工作负载
|
运维 Kubernetes Cloud Native
KubeVela 1.7 版本解读:接管你的已有工作负载
KubeVela 1.7 版本解读:接管你的已有工作负载
KubeVela 1.7 版本解读:接管你的已有工作负载
|
Kubernetes API 调度
k8s集群调度方案
k8s集群调度方案
428 1
k8s集群调度方案
|
运维 DataWorks 大数据
2.DataWorks 调度依赖之跨周期依赖(二)|学习笔记
快速学习2.DataWorks 调度依赖之跨周期依赖
242 0
2.DataWorks 调度依赖之跨周期依赖(二)|学习笔记
|
Kubernetes Cloud Native 安全
Koordinator 0.6:企业级容器调度系统解决方案,引入 CPU 精细编排、资源预留与全新的重调度框架
经过社区多位成员的贡献,Koordinator 0.6 版本正式发布。相较于上一个版本 0.5,新版本进一步完善了 CPU 精细化编排能力,更好的兼容原生用法;支持了资源预留的能力(Reservation),补齐了调度原子语意缺失;发布了全新的重调度框架,支持用户灵活的扩展自定义插件。这些特性源自于阿里巴巴内部的生产实践,并结合上游社区规划思考,为用户带来标准、强大、灵活的调度解决方案。
942 0
Koordinator 0.6:企业级容器调度系统解决方案,引入 CPU 精细编排、资源预留与全新的重调度框架
|
存储 资源调度 Java
分布式调度组件整合设计解析
分布式调度组件从落地到如今已有一年多的时间,作为组件开发者在其中过程中也在不断思考该组件的实现提升点以及后续的功能拓展接入。 作为一个整合类型的组件设计,从使用者的角度来看,应该更多地掩盖整合前各种接入实现,专心关注在当前组件的使用过程。因此,整合过程中的第一要素,就是要拉平多个整合组件的差异,包括数据模型、功能实现、以及外部透出的呈现,保证不同底层实现的无缝切换。第二就是简化对接工作量,把常用配置项默认固化,减轻使用方的对接成本,专心关注到业务中去。
|
SQL 数据采集 运维
DataWorks 调度依赖之跨周期依赖| 学习笔记
快速学习 DataWorks 调度依赖之跨周期依赖
341 0
 DataWorks  调度依赖之跨周期依赖| 学习笔记