传学 + 关注
专注于大数据领域的解决方案

传学 发表了文章:

离线计算中的幂等和DataWorks中的相关事项

发布时间:2018-02-23 09:09:33 浏览:2401 回帖 :3

概念 幂等这个词在软件研发中经常被提到。比如消息发送时不应该同时给同个用户推送多次相同的消息,针对同一笔交易的付款也不应该在重试过程中扣多次钱。曾见过一个案例,有个对于一个单据的确认模块没有考虑到幂...

etl 数据仓库 同步 离线计算 数据同步 幂等

传学 发表了文章:

EMR使用OSS还是云盘HDFS存储的选择讨论

发布时间:2018-01-17 17:28:52 浏览:3756 回帖 :1

使用EMR如何选择数据存储方案,这里分别列举各种场景下两种方案的优缺点,各位可以根据实际情况,选择最合适自己业务的一种方式。

OSS 性能 e-mapreduce EMR 存储 数据存储

传学 发表了文章:

如何将个性化需求变成大数据解决方案

发布时间:2017-11-27 21:45:14 浏览:3832 回帖 :0

大数据的技术日新月异,解决了很多传统的方法所无法解决的问题,为软件实现上提供了新思路。目前已经有很多企业已经基于大数据的相关技术已经搭建了很多系统。 在系统的搭建过程中,需要解决一个的问题:“我的这...

大数据 架构 流式计算 解决方案 物联网 流计算 图像识别 技术架构 技术方案

传学 发表了文章:

MaxCompute跨Region数据迁移指导手册

发布时间:2017-11-05 17:36:09 浏览:3063 回帖 :2

本文的方案让用户可以方便地把数据通过SQL语句进行跨区域迁移

大数据 odps 数据迁移 同步 迁移 数据同步 MaxCompute

传学 发表了文章:

精打细算使用MaxCompute搭建数仓

发布时间:2017-07-30 21:26:22 浏览:2595 回帖 :0

MaxCompute是一套阿里自主研发的数据仓库解决方案。产品除了功能、性能、简单等优势外,还能在费用上节省下一大笔前。墨迹天气使用MaxCompute,除了性能和稳定性也有提升外,整体存储和计算的费...

大数据 数据仓库 odps 数据存储 MaxCompute DataIDE 大数据开发套件 大数据计算服务 成本控制

传学 发表了文章:

MaxCompute和DataIDE权限体系介绍

发布时间:2017-07-30 16:13:19 浏览:4268 回帖 :0

理解大数据开发套件和大数据计算服务的权限体系。

安全与风控 大数据 权限 odps MaxCompute DataIDE 大数据开发套件

传学 发表了文章:

用Java代码调用MaxCompute

发布时间:2017-06-14 22:43:16 浏览:2855 回帖 :1

有什么办法把MaxCompute的作业、设置和自己的代码做无缝集成呢,MaxComput SDK就能干这个。本文就实际的工作中最常见的几个场景,做一些示例。

大数据 odps MaxCompute

传学 发表了文章:

通过Fluentd实时上传数据到DataHub实践

发布时间:2017-06-06 00:23:45 浏览:2903 回帖 :0

本文把我通过Flunetd,把数据上传到DataHub的配置过程记录下来,希望对大家在配置中能有帮助。

大数据 etl datahub fluentd

传学 发表了文章:

MaxCompute如何实现跨项目授权

发布时间:2017-05-26 15:53:02 浏览:2898 回帖 :1

实际的企业使用场景里,可能需要把不同项目里的数据、函数、计算资源等一起使用。那如何实现这种跨项目的使用呢,本文用实际例子来说明下。

大数据 odps Mapreduce MaxCompute 大数据计算服务

传学 发表了文章:

MaxCompute MapReduce

发布时间:2017-05-21 19:22:25 浏览:4995 回帖 :0

大数据计算服务(MaxCompute)的功能详解和使用心得

odps 分布式计算 Mapreduce MaxCompute 大数据开发套件 大数据计算服务

传学 发表了文章:

性能测试脚本的编写和调试

发布时间:2017-05-11 10:17:32 浏览:5908 回帖 :0

性能测试是一个入门简单,但是精通难,很依赖实践经验的技术活。如何编写压测脚本只是小术,而如何快速找到问题的原因,压出瓶颈却是大有学问。这次,云享团的专家从“术”入手,对一个自己临时写的的一个网站进行压...

性能 测试 性能测试 压力测试 压测

传学 发表了文章:

基于大数据开发套件的增量同步策略

发布时间:2017-05-11 10:12:56 浏览:3759 回帖 :0

因为近期遇到用户在做ETL操作导入数据到MaxCompute的时候,对如何设置数据同步策略有疑惑,所以今天第一波我们来聊一下数据的同步策略,根据数据的特性,看看哪些数据适合增量同步,哪些适合全量同步,...

大数据 数据仓库 数据同步 MaxCompute DataIDE

传学 发表了文章:

用脚本模式配置数据同步

发布时间:2017-04-18 22:03:04 浏览:2433 回帖 :0

本文主要用自定义的ECS来调度来解网络不可达的问题。通过使用脚本模式来解因为网络不可达导致的向导模式无法配置的问题。

大数据 odps 数据同步 MaxCompute 大数据开发套件 传学

传学 发表了文章:

推荐引擎的离线算法和在线算法初探

发布时间:2017-02-23 18:59:29 浏览:9133 回帖 :0

这篇帖子,就以推荐引擎产品上的离线算法和在线算法给大家说明下,并且方便后续如果在产品使用中如果发现通用的计算规则不符合自己的场景的时候,需要做一些优化的时候,也能更好地指导怎么调。

算法 数加 MaxCompute 推荐引擎 传学

传学 发表了文章:

定位排查工作流的计算结果数据量不符合预期的方法

发布时间:2017-01-24 14:48:16 浏览:8821 回帖 :0

本文用两个简化过的实际例子,说明如何排查数据经过同步和计算后发现数据条数对不上的情况。

大数据 odps MaxCompute 大数据开发套件 传学

传学 发表了文章:

如何用大数据开发套件周期调度机器学习算法

发布时间:2017-01-24 11:03:20 浏览:4269 回帖 :0

讨论如何用大数据的开发套件的调度功能和机器学习产品,进行自动化调度的机器学习计算。

算法 机器学习 大数据开发套件 传学

传学 发表了文章:

基于自定义日志打印的UDAF调试

发布时间:2017-01-09 14:44:42 浏览:4064 回帖 :0

看到最近有一些用户,代码在本地IDE环境里调试成功了后,到线上调试出现结果不符合预期的情况。因为IDE里无法模拟多个worker进行分布式调试UDAF的场景,所以有一些BUG可能需要到线上用一些简单的...

SQL odps UDF udaf MaxCompute 传学 代码调试

传学 发表了文章:

MaxCompute计算长尾问题

发布时间:2016-12-23 10:10:46 浏览:6455 回帖 :0

长尾问题是分布式计算里最常见的问题之一,也是典型的疑难杂症。究其原因,是因为数据分布不均,导致各个节点的工作量不同,整个任务就需要等最慢的节点完成才能完成。本文希望就平时工作中遇到的一些典型的长尾问题...

SQL odps Hive MaxCompute 传学 长尾

传学 发表了文章:

MaxCompute 学习计划(三)

发布时间:2016-12-23 10:07:12 浏览:3956 回帖 :1

MaxCompute的MapReduce,Graph,SDK等的技能checklist

odps Mapreduce MaxCompute 传学

传学 发表了文章:

MaxCompute 学习计划(二)

发布时间:2016-12-23 10:05:38 浏览:5765 回帖 :1

学习MaxCompute SQL和UDF的checklist

函数 SQL odps MaxCompute 传学

2
传学,专注于大数据领域的解决方案

感兴趣or擅长的领域:

更多>
晋恒
晋恒
文章:99丨 粉丝:46427丨 话题:2
隐林
隐林
文章:281丨 粉丝:49172丨 话题:2
祎休
祎休
文章:41丨 粉丝:45971丨 话题:0
普阳
普阳
文章:3丨 粉丝:44丨 话题:0
阿里云支持与服务
阿里云支持与服务
文章:189丨 粉丝:1349丨 话题:1
maxcompute
maxcompute
文章:1丨 粉丝:45834丨 话题:0
更多>
游客kc6fhoji2f5gm
游客kc6fhoji2f5gm
文章:0丨 粉丝:0丨 话题:0
游客33ki2lweablh6
游客33ki2lweablh6
文章:0丨 粉丝:0丨 话题:0
游客lqblapmmbta6c
游客lqblapmmbta6c
文章:0丨 粉丝:0丨 话题:0
游客ohcchxoh6t3rk
游客ohcchxoh6t3rk
文章:0丨 粉丝:0丨 话题:0
游客73nwqa7ntpk6e
游客73nwqa7ntpk6e
文章:0丨 粉丝:0丨 话题:0
游客lxmpjjzw74ezc
游客lxmpjjzw74ezc
文章:0丨 粉丝:0丨 话题:0