DataWorks新手引导

本文涉及的产品
大数据开发治理平台 DataWorks,不限时长
简介: DataWorks新手引导,持续更新。对DataWorks产品有任何疑惑,欢迎文档下方留言,我们会定期处理。

Q:子账号使用DataWorks需要选择什么授权策略?

A:DataWorks可以无需RAM单独配置权限,但若子账号需要创建项目,可给授权
image

DataWorks给子账号使用的正常流程是:主账号创建项目->主账号新建子账号->将子账号加入项目并赋予角色->子账号登录及更新个人信息

注: 主账号新建子账号时,创建AK这一步的时候,AK一定要保存好,不然子账号在更新个人信息的时候,还需要主账号重新去创建一次AK。
image


Q: 我进入了 DataWorks(大数据开发套件),在哪里写命令?

A:可以在数据开发页面,新建ODPS_SQL任务,在SQL任务中写SQL脚本。
image

要是不知道怎么进入数据开发页面,那就看看这个文档吧:使用说明


Q: 关于创建任务时的一点疑惑

A:
image

任务类型:节点任务是单个的任务;工作流任务是指,一个工作流任务中可以包含多个节点任务(最多30个节点任务)。
调度类型:手动任务是只能手动触发运行的 ;周期调度是指,我们会根据您任务的调度配置,定时去运行您的任务;调度类型一旦确认将无法修改。


Q:为什么要提交任务,这个提交是提交到哪里,提交后有什么用?

image

提交:是 DataWorks 特有的一个逻辑,没有提交的任务代码,是不能享受 DataWorks 强大的调度功能的。任务提交,是提交到了哪里呢?任务提交是提交到了调度系统,调度系统的功能是:根据您任务中的调度配置去运行任务。您只需要配置好任务的运行周期和任务之间的依赖关系,就再也无需担心任务的运行了。简直是给任务找了一个保姆,一键托管呐。

说了这么多,任务的调度配置在哪里呢?
image

给DataWorks 团队一个赞,简直是太好用了~ hahaha~~

插播一个小广告,DataWorks团队招产品、技术、测试、UED 有意向可以钉钉联系彭敏!

Q:DataWorks 为什么提交了任务以后,任务没有运行呢?

A: 我设置了一个每小时跑一次的任务,提交了任务以后,为什么接下来的一个小时,这个任务还没有开始运行呢?
是因为DataWorks 的调度系统,是当天晚上23.30开始生成第二天需要运行的任务实例,所以提交的任务要等到第二天才会自动运行哦。

注意:如果超过了23.30提交的任务,可能就赶不上当天批量生成实例这趟车了,只能等下一趟(也就是第三天才会开始运行)。但如果需要快速运行起来,可以选择测试运行和补数据运行~

怕大家不能理解为什么产品逻辑要这么设置,我就给大家解释一下:如果咱们要算公司每天的销售额,总不能是当天晚上算吧(要是算完以后,又有人来消费了,还得再加上,太麻烦了),所以我们都是今天计算昨天的销售额(这个 ‘昨天’ 我们也叫业务日期,请大家在选择时间的时候,注意看清楚,选择的是业务日期还是运行日期)。


Q:如何测试运行一个任务呢?

A: 我这个SQL 已经编辑好了,我现在想运行一下这个SQL ,来测试一下我的代码,那我该怎么运行这个SQL呢?
image

运行SQL任务有两种方式,如上图所示:

方式一:运行,这种运行方式是直接将SQL代码下发到底层去执行,好处是方便快捷,坏处是运行结果只保留在页面上,页面刷新/关闭后就没有了,且寻找历史执行记录相对麻烦。

方式二:测试运行,这种运行方式是需要将代码提交到调度系统,然后触发调度系统生成实例快照,成功生成实例后,才会开始运行任务。好处是可以使用调度系统参数、能够看到每一次运行的运行记录(运行记录保留30天),坏处是相对麻烦一点。


Q:如何补数据运行一个任务呢?

补数据前咱们先了解一下,啥时候需要做补数据这个操作,补数据能干啥?
补数据可以选择一个业务流程(通过多个任务间的相互依赖,完成了一个业务流程),还能选择多个业务日期(其实就是能选好多天),这样即使代码写错了,还是能有挽救的机会的嘛,下面有两个经典场景,仅供参考:

  1. 如果任务周期运行后,发现今天任务的运行结果不符合预期,想重跑一下,那么可以选择补数据运行来实现(为啥用补数据,是因为补数据可以选择下游节点,测试运行只针对单个节点有效)。
  2. 想测试一下任务的调度配置是否有效,请选择补数据运行,不仅可以选择下游节点,还能选择任务的业务日期(一次操作,可以补很长一段时间的任务呢),完美解决不知道调度配置是否符合预期的问题。

A: 说了那么多,下面说一下怎么补数据。
补数据这个步骤需要到 运维中心 里面去操作,运维中心在哪看图片~
image

如果在运维中心里没有找到心仪的任务,那么说明你打开的方式不对,你可以换种方式打开,比如说:

  1. 看看任务是否提交了;
  2. 看看任务的类型是否选对了;
    image

选中任务后,就可以去选择补数据的任务和日期了。

再多说一句:补数据的时候,如果任务和时间选择的都比较多,会批量生成大量的任务实例,请小主谨慎操作~


Q:如何查看任务的日志?

A:任务测试运行以后,页面会有一个链接跳转到运维中心-测试实例下,可以选中任务,单击查看节点运行日志,即可查看到任务的运行日志(如果任务有报错,您不知该如何处理,请将日志以txt格式保存,通过工单反馈给我们)。
image


如有其他问题,请加钉钉群~ 加群后可以直接 AT 李珍珍!

image

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始,十ー年里一直支持阿里巴巴集团内部数据中台的建设,2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks,承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标  通过讲师的详细讲解与实际演示,学员可以一边学习一边进行实际操作,可以深入了解DataWorks各大模块的使用方式和具体功能,让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解,加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
目录
相关文章
|
1月前
|
DataWorks 专有云 大数据
DataWorks常见问题之孟买无法购买如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
29 0
|
3月前
|
分布式计算 关系型数据库 MySQL
maxcompute迁移工具MMA使用操作手册
针对官方教程中省略和易出错的部分进行了补充,在使用过程中如果有更多问题,建议工单或者任务单咨询阿里云售后服务人员。
|
SQL 分布式计算 DataWorks
10.DataWorks 迁移助手介绍及实践(一)|学习笔记
快速学习10.DataWorks 迁移助手介绍及实践
326 0
10.DataWorks 迁移助手介绍及实践(一)|学习笔记
|
11月前
|
存储 小程序 Cloud Native
《五天玩转EMAS Serverless》——第五节 实战:小程序疫苗预约-文件存储与云调用【上】
本文整理自EMAS Serverless讲师雨鸦,在《5天玩转EMAS Serverless训练营》的分享。本篇内容主要分为五个部分: 1.小程序图片API介绍 2.实战:个人信息头像修改 3.云调用介绍 4.实战:疫苗预约提醒推送 5.课程总结
101 0
|
11月前
|
小程序 Serverless API
《五天玩转EMAS Serverless》——第五节 实战:小程序疫苗预约-文件存储与云调用【中】
摘要:本文整理自EMAS Serverless讲师雨鸦,在《5天玩转EMAS Serverless训练营》的分享。本篇内容主要分为五个部分: 1.小程序图片API介绍 2.实战:个人信息头像修改 3.云调用介绍 4.实战:疫苗预约提醒推送 5.课程总结
|
11月前
|
存储 小程序 Serverless
《五天玩转EMAS Serverless》——第五节 实战:小程序疫苗预约-文件存储与云调用【下】
本文整理自EMAS Serverless讲师雨鸦,在《5天玩转EMAS Serverless训练营》的分享。本篇内容主要分为五个部分: 1. 小程序图片API介绍 2. 实战:个人信息头像修改 3. 云调用介绍 4. 实战:疫苗预约提醒推送 5. 课程总结
|
分布式计算 MaxCompute
Dataphin试用操作步骤
Dataphin, 试用, 操作步骤
1005 0
Dataphin试用操作步骤
|
SQL 分布式计算 DataWorks
DataWorks 迁移助手介绍及实践 | 学习笔记
快速学习 DataWorks 迁移助手介绍及实践,介绍了 DataWorks 迁移助手介绍及实践系统机制, 以及在实际应用过程中如何使用。
286 0
DataWorks 迁移助手介绍及实践 | 学习笔记
|
存储 运维 小程序
小程序云开通和入门 | 学习笔记
快速学习小程序云开通和入门
228 0
小程序云开通和入门 | 学习笔记
|
运维 DataWorks 数据可视化
DataWorks 数据开发介绍及实践 | 学习笔记
快速学习 DataWorks 数据开发介绍及实践,介绍了 DataWorks 数据开发介绍及实践系统机制, 以及在实际应用过程中如何使用。
688 0
DataWorks 数据开发介绍及实践 | 学习笔记