调度参数在MaxCompute的使用

简介: 本文主要讲解如何测试DataWorks调度参数在MaxCompute上使用

一、调度参数和MaxCompute的关系

首先明确调度参数是属于DataWorks上的和MaxCompute之间是没有关系的。

二、调度参数执行的原理

调度参数是经过DataWorks的调度系统进行解析,然后将解析的值传到MaxCompute上MaxCompute根据对应的key获取对应的value,所以想要取到值必须经过DataWorks的调度系统解析。

三、如何测试调度参数

1.系统参数(2个)

• 主要包括业务时间bdp.system.bizdate
• 定时时间bdp.system.cyctime
说明
这两个值由于是DataWorks的系统参数,可以直接在代码中使用,在页面点击高级运行可以解析
**使用方法:
**
在DataWorks直接点击高级运行可以看到结果

select ${bdp.system.bizdate}

结果:
image.png

2.时间参数

内置参数
($bizdate和$cyctime)、${…}和$[…],
说明
由于不是系统的必须经过调度系统才能测试,在页面点击高级运行也是无法解析的
使用方法
• 在数据流程->MaxCompute->数据开发->新建一个odspsql节点
image.png

• 双击打开节点,编写sql

image.png
• 点击调度配置,配置调度参数

image.png
• 将当前节点保存,关闭退出运行

image.png
• 查看结果

image.png

3.自定义常量参数

说明
在页面点击高级运行可以解析
• 在临时查询中编写sql

select '${key}';

• 点击高级运行

image.png
• 查看结果
image.png

大家如果对MaxCompute有更多咨询或者建议,欢迎扫码加入 MaxCompute开发者社区钉钉群,或点击链接 申请加入。
image.png

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始,十ー年里一直支持阿里巴巴集团内部数据中台的建设,2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks,承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标  通过讲师的详细讲解与实际演示,学员可以一边学习一边进行实际操作,可以深入了解DataWorks各大模块的使用方式和具体功能,让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解,加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
目录
相关文章
|
7月前
|
分布式计算 Java 大数据
大数据常用调度平台
大数据常用调度平台
196 0
|
存储 SQL 消息中间件
大数据生态圈常用组件(一):数据库、查询引擎、ETL工具、调度工具等
大数据生态圈常用组件(一):数据库、查询引擎、ETL工具、调度工具等
|
2月前
|
存储 分布式计算 调度
MaxCompute资源问题之删除调度资源如何解决
MaxCompute资源指的是在MaxCompute项目中使用的计算资源和存储资源;本合集旨在向用户展示如何高效管理MaxCompute资源,包括资源包管理、配额调整和性能优化等方面。
30 0
|
4月前
|
Oracle 关系型数据库 大数据
助力工业物联网,工业大数据之服务域:Shell调度测试【三十三】
助力工业物联网,工业大数据之服务域:Shell调度测试【三十三】
20 1
|
4月前
|
分布式计算 大数据 调度
大数据计算MaxCompute怎么将一个Quota的资源优先供给给标准模式的生产库调度使用?
大数据计算MaxCompute怎么将一个Quota的资源优先供给给标准模式的生产库调度使用?
33 2
|
4月前
|
资源调度 分布式计算 大数据
【云计算与大数据技术】资源管理、调度模型策略的讲解
【云计算与大数据技术】资源管理、调度模型策略的讲解
102 0
|
4月前
|
分布式计算 DataWorks 调度
DataWorks在绑定MaxCompute并进行周期性调度前
DataWorks在绑定MaxCompute并进行周期性调度前
37 3
|
7月前
|
存储 大数据 调度
亚信AISWare DataOS大数据中台套件介绍02——开发程序及调度上下线
DataOS是一款汇总大部分大数据套件的企业型中台,可以满足企业大部分对大数据存储、计算、稽核的需求。但是平台使用体检并不好,所以有条件还是推荐使用阿里云的大数据组件
222 1
|
11月前
|
算法 大数据 数据处理
大数据开发基础的操作系统的内存管理和调度
在大数据开发中,操作系统的内存管理和调度是非常重要的概念。这些概念可以帮助我们更好地理解计算机系统的工作原理和方式,并且对于实现高效的大数据处理和传输具有重要的意义。以下是这些概念的简要介绍。
68 0
|
大数据 调度
《大数据在物流行业应用突破——大规模云上调度实践》电子版地址
大数据在物流行业应用突破——大规模云上调度实践
53 0
《大数据在物流行业应用突破——大规模云上调度实践》电子版地址

相关产品

  • 云原生大数据计算服务 MaxCompute