dataworks彭敏 + 关注
DataWorks技术支持,针对DataWorks,ODPS 等使用问题,欢迎交流。

dataworks彭敏 发表了文章:

阿里云MVP Meetup 《云数据·大计算:海量日志数据分析与应用》之《数据应用:数据服务》篇

发布时间:2019-03-27 23:18:48 浏览:527 回帖 :1

本文主要阐述在使用DataWorks(数据工场)的过程中如何使用数据服务模块,快速将已生成的数据给用起来。此功能可用于快速将数仓中的结果表生成API,通过API给下游应用使用,或者通过API服务完成数...

云栖社区 大数据 日志 模块 数据仓库 测试 数据分析 big data MaxCompute 数据服务 数据应用 DataWorks 数据中台 Lightning

dataworks彭敏 参与了问答:

dataworks日志问题

打开节点运行日志,出现connection reset问题 请求帮忙

“现在还有遇到吗,如果下次再遇到了的话,你可以加入到DataWorks的钉钉群(11718465),在钉钉群里反馈一下,我们不会一直盯着云栖社区,钉钉群的响应速度会快很多。”

dataworks彭敏 参与了问答:

在DataWorks中,读取mysql多表的时候,如何快速配置同步任务

在配置数据集成任务的时候,遇到了源端是mysql数据源,并且是分表的情况。由于表结构完全一致,而且表名的后缀满足1-1000自增的规则,配置同步任务时,需要去手动填写1-1000张表的详细表名吗?

“这种有规则的表名,在配置的时候,可以在table 值部分,使用 "table":["table_[1-1000]"] 这种方式。”

dataworks彭敏 参与了话题:

阿里巴巴航母级计算平台MaxCompute即将发布首个开发者版本,与开发者共建大数据生态

发布时间:2019-02-28 16:16:12 参与人数:56

MaxCompute是什么? MaxCompute(原ODPS)是一项大数据计算服务,它能提供快速、完全托管的PB级数据仓库解决方案,使您可以经济并高效的分析处理海量数据。 对内,MaxCompute...

话题奖品:
阿里云代金券3个
云栖定制电脑包1个
福禄寿淘公仔1个
已结束
“MaxCompute 开箱即用,非常方便,免去了搭建大数据环境的时间,再结合DataWorks的强大能力,是搭建企业数据中台的不二之选。”

dataworks彭敏 参与了话题:

你的教程你做主!想要什么样的大数据开发教程尽管提~

发布时间:2019-03-08 16:52:27 参与人数:22

对阿里云大数据产品(MaxCompute、DataWorks、实时计算、EMR....)的小伙伴们,一定看过我们的产品文档吧?你熟悉的大数据产品文档应该是长这个样子的: 有没有发现少了点什么? 没错!...

话题奖品:
阿里云代金券3个
福禄寿淘公仔1个
云栖定制电脑包1个
已结束
“希望站在用户的视角,写更多场景化的教程。”

dataworks彭敏 发表了文章:

DataWorks报错处理《有下游节点依赖本节点的输出 xxx,禁止删除》

发布时间:2019-02-27 10:14:31 浏览:416 回帖 :2

在保存节点的时候,遇到了如下报错 “有下游节点依赖本节点的输出 xxx,禁止删除 “该如何处理?

SQL Image 数据工场

dataworks彭敏 发表了文章:

转载《Data Lake Analytics: 使用DataWorks来调度任务》

发布时间:2019-02-20 21:25:47 浏览:8417 回帖 :0

DataWorks作为阿里云上广受欢迎的大数据开发调度服务,最近加入了对于Data Lake Analytics的支持,意味着所有Data Lake Analytics的客户可以获得任务开发、任务依...

配置 Image aliyun string Create DataWorks DLA

dataworks彭敏 参与了问答:

分库的数据源表怎么一次性同步到maxCompute数据表中

目前我的方法是建N个数据同步任务,把分库数据源名称作为ODPS目标表的分区字段值,但是分库的比较多,要建N个同步任务,很麻烦,有没有更好的办法?

“试试DataWorks的循环节点,如果分库分表都是 1、2、3、4 这种依次递增的话,循环节点会比较好实现。”

dataworks彭敏 参与了问答:

在DataWorks上创建项目的时候,无法选择MaxCompute服务

在DataWorks上创建项目时,无法选择MaxCompute服务,选择按钮都是置灰的,我该如何操作呢?

“需要点击去购买,购买成功后,将可以选择对应的服务。”

dataworks彭敏 发表了文章:

DataWorks上数据集成任务如何解决网络问题

发布时间:2019-01-29 21:15:28 浏览:1065 回帖 :0

DataWorks是一个一站式智能大数据研发平台,在DataWorks上我们可以做一系列与大数据开发相关的工作。今天主要给大家讲解,在DataWorks上配置数据集成任务时,遇到的那些网络不通的问题该...

VPC ECS 数据库 配置 集群 测试 同步 aliyun 云数据库 脚本 html datax 数据集成 DataWorks

dataworks彭敏 发表了文章:

Dataworks调度能力升级——分支节点

发布时间:2019-01-14 20:31:34 浏览:794 回帖 :0

在学习一门新的编程语言时,经常能在基础语法中看到赋值、分支、循环等语法。那用DataWorks进行数据开发的过程中,如何完成分支、赋值等操作呢?

python 配置 数据仓库 Image 表达式 MaxCompute DataWorks

dataworks彭敏 发表了文章:

DataWorks V2.0中如何新增“调度资源”

发布时间:2019-01-02 22:07:16 浏览:1119 回帖 :2

调度资源是在DataWorks 中经常提到的一个词,那么调度资源不足的情况下,我们应该如何处理呢?

大数据 日志 配置 集群 工单 Image 数加 钉钉 同步 MaxCompute 数据开发 离线调度 DataWorks 数据工场

dataworks彭敏 参与了问答:

为什么子账号在DataWorks上设置了节点出错报警,但是并未收到报警短信

在DataWorks上给节点设置了报警,但是并未收到报警短信。

“需要在https://data.aliyun.com/console/akinfo 界面填写手机号和邮箱信息,才能收到告警的邮件信息。”

dataworks彭敏 参与了问答:

dataworks配置hybriddb for psql数据源,走外网jdbc是走公网流量还是内网?如果想走内网流量需要怎么配置?

现有业务需要,从dataworks配置hybriddb for postgresql的数据源。看到阿里的教程link是用公网IP配置的hybriddb。这样做走的流量是公网流量还是内网流量? 如果我想...

“https://help.aliyun.com/knowledge_detail/74279.html 可以看看这个文档,如果配置的走公网的话,是直接走公网的。”

dataworks彭敏 发表了文章:

DataWorks V2使用PyUdf

发布时间:2018-10-31 11:29:53 浏览:905 回帖 :1

DataWorks V2的版本变动有点大,导致很多用户会问我一些基础的使用操作。本文就讲述一下,如何在DataWorks上使用PyUdf。

python 函数 Image 数加 钉钉 脚本 string utf-8 MaxCompute pyudf DataWorksV2

dataworks彭敏 发表了文章:

DataWorks 如何设置调度依赖

发布时间:2018-10-23 22:04:27 浏览:2236 回帖 :2

在DataWorks 2.0中,任务的依赖配置有所更改,所以特别写一篇文档来引导大家,如何正确的配置任务调度依赖。

云栖社区 大数据 配置 Image 数加 钉钉 大数据开发 调度依赖 DataWorks 数据工场

dataworks彭敏 发表了文章:

DataWorks如何将shell任务运行在自定义资源组上

发布时间:2018-09-28 13:33:41 浏览:1720 回帖 :1

本文主要讲述,如何在DataWorks上如何将shell任务运行在自定义资源组上。

python shell Image aliyun 沙箱 MaxCompute DataWorks 调度资源

dataworks彭敏 发表了文章:

如何在DataWorks V2.0 的 ODPS SQL任务中使用调度参数

发布时间:2018-09-13 21:14:19 浏览:2254 回帖 :1

DataWorks提供了系统调度参数,调度系统会根据调度参数的配置,结合当前的业务日期,将调度参数转换为具体的时间。

云栖社区 SQL 数据仓库 odps Image 数加 钉钉 表达式 空格 MaxCompute DataWorks 测试运行 调度参数

dataworks彭敏 参与了问答:

DataWorks中如何制定同步任务的资源组。

在使用DataWorks来完成数据上云时,经常会遇到网络不通的情况,在网络不通时,DataWorks支持使用自定义资源组,将任务运行在指定的机器上。当我们注册完自定义调度资源以后,如何将任务运行在指定...

“在数据集成的向导模式下,可以在通道控制中,选择任务运行的资源组。 在数据集成的脚本模式下,顶部可以选择任务运行的资源组。”

dataworks彭敏 发表了文章:

如何使用DataWorks的整库迁移给目标表名加上前缀

发布时间:2018-08-28 16:19:25 浏览:3243 回帖 :1

我们在搭建数仓的时候,有多个业务库需要将数据上云,如果手动来配置这些数据采集的任务,那将会是一个非常繁重的工作。DataWorks中的数据集成提供了整库迁移的功能,来方便大家快速进行数据上云,并可在配...

云栖社区 mysql 配置 Image 同步 aliyun MaxCompute DataWorks

3
DataWorks技术支持,针对DataWorks,ODPS 等使用问题,欢迎交流。

感兴趣or擅长的领域:

暂无
更多>
仙游
仙游
文章:85丨 粉丝:576丨 话题:16
dataworks团队
dataworks团队
文章:5丨 粉丝:1292丨 话题:1
中间件小哥
中间件小哥
文章:409丨 粉丝:3948丨 话题:19
dataworks@李珍珍
dataworks@李珍珍
文章:5丨 粉丝:448丨 话题:0
桑弦
桑弦
文章:4丨 粉丝:33407丨 话题:0
gissync
gissync
文章:4丨 粉丝:386丨 话题:0
更多>
游客c5zgf5mznhsu2
游客c5zgf5mznhsu2
文章:0丨 粉丝:0丨 话题:0
游客ato5y5kx6ijzq
游客ato5y5kx6ijzq
文章:0丨 粉丝:0丨 话题:0
游客3k7b3cjgkodaa
游客3k7b3cjgkodaa
文章:0丨 粉丝:0丨 话题:0
游客wbfayh4us22k6
游客wbfayh4us22k6
文章:0丨 粉丝:0丨 话题:0
游客upp5rvbr2ogdu
游客upp5rvbr2ogdu
文章:0丨 粉丝:0丨 话题:0
游客x5ed3gt25ts62
游客x5ed3gt25ts62
文章:0丨 粉丝:0丨 话题:0