dataworks彭敏 + 关注

dataworks彭敏 发表了文章:

DataWorks中业务日期和定时时间的理解

发布时间:2018-03-05 18:01:25 浏览:6742 回帖 :0

很多同学不明白,业务日期和定时时间的区别。我们做离线统计,最常见的是今天处理昨天的数据。这里今天就是运行日期(也叫定时时间),昨天就是业务日期。

云栖社区 大数据 日志 配置 测试 钉钉 DataWorks

dataworks彭敏 评论了文章:

离线计算中的幂等和DataWorks中的相关事项

发布时间:2018-02-23 09:09:33 浏览:3231 回帖 :3

概念 幂等这个词在软件研发中经常被提到。比如消息发送时不应该同时给同个用户推送多次相同的消息,针对同一笔交易的付款也不应该在重试过程中扣多次钱。曾见过一个案例,有个对于一个单据的确认模块没有考虑到幂...

etl 数据仓库 同步 离线计算 数据同步 幂等

“纯干货,非常棒!”

dataworks彭敏 参与了问答:

周月任务如何测试运行

我的调度配置如下,测试运行的时候,这个任务直接就成功了,是什么情况?

“周月任务是指:调度周期为每月运行一次,或者每周运行一次的任务。这种任务需要满足运行规则才会开始运行的,所以测试运行的时候,需要指定运行的日期,就像上图所指,每月2号开始运行这个任务,那么我们测试运行的...查看全部>

dataworks彭敏 发表了文章:

windows下安装hadoop

发布时间:2018-01-02 22:34:37 浏览:1602 回帖 :0

一直想玩一下hadoop,看到hadoop早就支持了windows,就参考网上的文档自己搭了一套,还在学习中,如有错误,欢迎指正。

大数据 hdfs hadoop windows 配置 浏览器 cmd

dataworks彭敏 发表了文章:

数据分析学习笔记

发布时间:2018-01-02 14:54:54 浏览:1439 回帖 :0

一直以来会遇到一些数据分析的问题,但是没有深究,现将遇到的问题都记录下来,以备不时之需。

大数据 函数 排序 Image 数据分析 BY string MaxCompute

dataworks彭敏 评论了文章:

跨私网传输用法解析

发布时间:2017-12-25 15:54:24 浏览:2176 回帖 :1

数加集成(Data Integration)是阿里集团对外提供的稳定高效、弹性伸缩的数据同步平台,为阿里云大数据计算引擎(包括关系型数据库、MPP数据库、大数据存储、非结构化存储、NoSql数据库等)...

数据集成 DataWorks 跨私网传输

“数据集成好样的!”

dataworks彭敏 参与了问答:

Dataworks,想分正式环境和测试环境,来做数据开发的逻辑测试,怎么做?

新建测试库?建测试表?同样逻辑的sql怎么切换正式环境和测试环境?

“DataWorks 是建议使用两个项目关联做数据开发的,详细可以参考文档:https://help.aliyun.com/document_detail/61690.html?spm=5176.pro...查看全部>

dataworks彭敏 参与了问答:

DataWorks的周期实例任务未运行如何排查?

经常有同学问我:“我的任务为什么还没开始跑”、“任务没有运行该怎么办”等等,有没有同学知道这种任务未运行的情况如何处理呢。

“实例的状态是有两种情况的:1、未运行:是因为该任务的上游任务没有跑完,或者该任务上周期的任务没有跑完2、等待运行:是因为任务实例的运行时间还没到,或者任务实例的运行资源还没准备好”

dataworks彭敏 参与了问答:

补数据问题

肯定有很多同学有疑惑,为什么补小时类型的任务时,不能选择任务运行的区间呢?

“其实内部也有讨论过是否支持补数据可以选择小时区间的这个问题,但是补数据不像是测试运行,它可以选择去补一个业务流程(可以补该节点下游全部的任务),如果小时任务的下游有天调度的任务,那么补数据选择了某个小...查看全部>

dataworks彭敏 参与了问答:

补数据的实例补多了,如何终止?

补数据的时候,小手一抖,补了一个分钟级的任务,一下出现了几百个实例,现在资源都被这些补数据的实例给占据了,我要怎么办才能kill掉它们。

“补数据的实例呢,就算是分钟级别的,一天最多只生成288个实例,DataWorks团队现在正在针对补数据的情况,做了一些优化,后续会支持批量终止实例;告诉大家一个潜规则,如果补数据的时候,一次性补了三天...查看全部>

dataworks彭敏 发表了文章:

DataWorks新手引导

发布时间:2017-12-04 19:04:36 浏览:6702 回帖 :3

DataWorks新手引导,持续更新。对DataWorks产品有任何疑惑,欢迎文档下方留言,我们会定期处理。

云栖社区 大数据 运维 SQL 日志 数据仓库 测试 脚本 MaxCompute DataWorks 数据工场 运维中心

dataworks彭敏 参与了问答:

DataWorks的调度参数是怎么玩的

DataWorks 提供了调度参数,可以直接配置使用,简单的比较好用,但是我是一个五分钟一次的分钟调度,这样就导致了11.55-12:00 这个区间的数据,写到了第二天的分区里面去,我有什么办法可以让...

“任务的调度属性这样配置: 任务的调度参数这样配置: 测试运行的时候,补了两天的数据: 找到第一个周期看看,解析出来的实例结果:定时时间为:2017-11-30 00:00:00 解析出来的参数是:...查看全部>

dataworks彭敏 参与了问答:

DataWorks的业务日期是指什么?

DataWorks 常在测试运行前需要填写业务日期,这个业务日期是指什么呢?我有一个每周一要跑的任务,选择周一都跑不起来,这是为什么?

“业务日期是DataWorks的一个概念,大家可以这么理解:今天处理昨天的数据。举个例子:20171128号处理的是20171127号的数据,所以我们在选择测试运行和补数据业务日期的时候,得选择前一天。...查看全部>

dataworks彭敏 评论了文章:

阿里云大数据利器之-RDS迁移到Maxcompute实现自动分区

发布时间:2017-08-30 11:13:50 浏览:6088 回帖 :3

当前,很多用户的业务数据存放在传统关系型数据库上,例如阿里云的RDS,做业务读写操作。当数据量非常大的时候,此时传系关系型数据库会显得有些吃力,那么会经常有将mysql数据库的数据迁移到[大数据处理平...

云栖社区 大数据 阿里云 RDS HTTPS 配置 数据迁移 同步 aliyun string 数据同步 分区表 MaxCompute 云数据库RDS 动态分区

“可以可以”

dataworks彭敏 参与了问答:

数据库链接不上提交工单一直没人回复?ftp和控制面板显示不一样?

数据库链接不上提交工单一直没人回复?ftp和控制面板显示不一样?内容都不一样 !控制面板又不能改东西ftp又不全部显示!我提交工单了半天还没人回复我阿里云这个是什么平台连个在线可以沟通的客服都没有吗?

“你用的是什么产品呢?工单号是多少?”

dataworks彭敏 参与了问答:

DATAIDE数据集成新建数据源时怎么才能连上本地mysql

测试连通性一直不通

“无法测试链接本地的mysql,除非有公网IP,还要添加白名单,对测试连通性的机器开放访问才行。如何添加白名单,请参考:https://help.aliyun.com/knowledge_detail/...查看全部>

dataworks彭敏 评论了文章:

数据同步华丽上位,大数据离线处理高枕无忧

发布时间:2017-09-06 11:10:51 浏览:1936 回帖 :1

大数据时代,业务量不断增长,大批量的数据离线同步已成了不可获缺的工具。 而越是使用越频繁的产品,更容易成为用户关注的焦点。

云栖社区 nginx 安全与风控 系统软件 编程语言 数据存储与数据库 系统研发与运维 移动开发与客户端 网络与数据通信 linux 互联网产品及应用 php 帮助 阿里技术协会 安全问道

“数据集成一直在持续优化,非常棒。”

dataworks彭敏 参与了话题:

国庆八天乐,码农长假怎么过?别加班了

发布时间:2017-09-20 10:35:03 参与人数:301

国庆将至,今年国庆节与往年不同它和中秋节并在了一起,一下子由7天变成8天,这说长不长说短不短的假期,如果去国外可能有点短,所以国内游是不错的选择,不管怎么说我们这些被圏在办公室的程序员,终于可以走出办...

话题奖品:
阿里云代金券5个
定制晴雨伞2个
手机话费3个
已结束
“回家略过可以吗/(ㄒoㄒ)/~~”

dataworks彭敏 参与了话题:

为什么大佬们会让大家警惕人工智能?

发布时间:2017-09-22 15:11:46 参与人数:48

这些新闻最近各种上热榜:霍金:人工智能会导致人类灭亡比尔・盖茨:人类需要敬畏人工智能的崛起马斯克称人工智能是人类生存最大威胁 这是因为人工智能要进入新阶段了?这些名人是不是可能比较先得到信息,所以向人...

话题奖品:
已结束
“如果人工智能设定的第一优先级是永远不能不伤害人类的话,我很期待人工智能后续的发展。”

dataworks彭敏 发表了文章:

解析Dataworks中的运行和测试运行的区别

发布时间:2017-09-22 14:10:19 浏览:5029 回帖 :0

DataWorks 中运行和测试运行的区别

云栖社区 大数据 离线计算 MaxCompute DataWorks

3
暂未提供

感兴趣or擅长的领域:

暂无
更多>
云攻略小攻
云攻略小攻
文章:446丨 粉丝:20856丨 话题:13
仙游
仙游
文章:71丨 粉丝:657丨 话题:16
dataworks团队
dataworks团队
文章:6丨 粉丝:2062丨 话题:0
中间件小哥
中间件小哥
文章:732丨 粉丝:9572丨 话题:19
dataworks@李珍珍
dataworks@李珍珍
文章:5丨 粉丝:897丨 话题:0
桑弦
桑弦
文章:3丨 粉丝:79065丨 话题:0
更多>
游客5vobxkyormoec
游客5vobxkyormoec
文章:0丨 粉丝:0丨 话题:0
游客wakz65xzswwsq
游客wakz65xzswwsq
文章:0丨 粉丝:0丨 话题:0
游客3cjz2hvwvlgko
游客3cjz2hvwvlgko
文章:0丨 粉丝:0丨 话题:0
游客nj5fvzdh4ych4
游客nj5fvzdh4ych4
文章:0丨 粉丝:0丨 话题:0
游客wbfpxcbcf3w3q
游客wbfpxcbcf3w3q
文章:0丨 粉丝:0丨 话题:0
游客6jqc2trr6xvbq
游客6jqc2trr6xvbq
文章:0丨 粉丝:0丨 话题:0