发布时间:2018-02-23 09:09:33 浏览:3231 回帖 :3
概念 幂等这个词在软件研发中经常被提到。比如消息发送时不应该同时给同个用户推送多次相同的消息,针对同一笔交易的付款也不应该在重试过程中扣多次钱。曾见过一个案例,有个对于一个单据的确认模块没有考虑到幂...
发布时间:2018-01-17 17:28:52 浏览:5639 回帖 :1
使用EMR如何选择数据存储方案,这里分别列举各种场景下两种方案的优缺点,各位可以根据实际情况,选择最合适自己业务的一种方式。
发布时间:2017-11-27 21:45:14 浏览:4500 回帖 :0
大数据的技术日新月异,解决了很多传统的方法所无法解决的问题,为软件实现上提供了新思路。目前已经有很多企业已经基于大数据的相关技术已经搭建了很多系统。 在系统的搭建过程中,需要解决一个的问题:“我的这...
发布时间:2017-07-30 21:26:22 浏览:3311 回帖 :0
MaxCompute是一套阿里自主研发的数据仓库解决方案。产品除了功能、性能、简单等优势外,还能在费用上节省下一大笔前。墨迹天气使用MaxCompute,除了性能和稳定性也有提升外,整体存储和计算的费...
发布时间:2017-06-14 22:43:16 浏览:4227 回帖 :1
有什么办法把MaxCompute的作业、设置和自己的代码做无缝集成呢,MaxComput SDK就能干这个。本文就实际的工作中最常见的几个场景,做一些示例。
发布时间:2017-06-06 00:23:45 浏览:4063 回帖 :0
本文把我通过Flunetd,把数据上传到DataHub的配置过程记录下来,希望对大家在配置中能有帮助。
发布时间:2017-05-26 15:53:02 浏览:3794 回帖 :1
实际的企业使用场景里,可能需要把不同项目里的数据、函数、计算资源等一起使用。那如何实现这种跨项目的使用呢,本文用实际例子来说明下。
发布时间:2017-05-11 10:17:32 浏览:7839 回帖 :0
性能测试是一个入门简单,但是精通难,很依赖实践经验的技术活。如何编写压测脚本只是小术,而如何快速找到问题的原因,压出瓶颈却是大有学问。这次,云享团的专家从“术”入手,对一个自己临时写的的一个网站进行压...
发布时间:2017-05-11 10:12:56 浏览:4685 回帖 :0
因为近期遇到用户在做ETL操作导入数据到MaxCompute的时候,对如何设置数据同步策略有疑惑,所以今天第一波我们来聊一下数据的同步策略,根据数据的特性,看看哪些数据适合增量同步,哪些适合全量同步,...
发布时间:2017-04-18 22:03:04 浏览:3270 回帖 :0
本文主要用自定义的ECS来调度来解网络不可达的问题。通过使用脚本模式来解因为网络不可达导致的向导模式无法配置的问题。
发布时间:2017-02-23 18:59:29 浏览:11166 回帖 :0
这篇帖子,就以推荐引擎产品上的离线算法和在线算法给大家说明下,并且方便后续如果在产品使用中如果发现通用的计算规则不符合自己的场景的时候,需要做一些优化的时候,也能更好地指导怎么调。
发布时间:2017-01-24 14:48:16 浏览:9516 回帖 :0
本文用两个简化过的实际例子,说明如何排查数据经过同步和计算后发现数据条数对不上的情况。
发布时间:2017-01-24 11:03:20 浏览:5185 回帖 :0
讨论如何用大数据的开发套件的调度功能和机器学习产品,进行自动化调度的机器学习计算。
发布时间:2017-01-09 14:44:42 浏览:5210 回帖 :0
看到最近有一些用户,代码在本地IDE环境里调试成功了后,到线上调试出现结果不符合预期的情况。因为IDE里无法模拟多个worker进行分布式调试UDAF的场景,所以有一些BUG可能需要到线上用一些简单的...
发布时间:2016-12-23 10:10:46 浏览:9110 回帖 :0
长尾问题是分布式计算里最常见的问题之一,也是典型的疑难杂症。究其原因,是因为数据分布不均,导致各个节点的工作量不同,整个任务就需要等最慢的节点完成才能完成。本文希望就平时工作中遇到的一些典型的长尾问题...
发布时间:2016-12-23 10:07:12 浏览:5101 回帖 :1
MaxCompute的MapReduce,Graph,SDK等的技能checklist