上单 + 关注
对大数据框架有浓厚兴趣,对阿里云产品使用,运维排查有经验,odps,dataworks,开放搜索等 喜欢技术分享交流

MaxCompute使用常见问题总结

发布时间:2018-03-13 17:16:45 浏览:3310 评论 :1

Maxcompute常见问题的总结,方便广大用户可以快速排查问题

大数据 java 函数 SQL 工单 按量付费 aliyun 沙箱 exception html Mapreduce 数据类型 MaxCompute

MaxCompute常见问题总结以及排查方案

发布时间:2018-03-07 17:29:28 浏览:2466 评论 :0

Maxcompute常见问题汇总

大数据 java 函数 SQL 阿里技术协会 工单 odps aliyun 沙箱 exception html Mapreduce 数据类型 fastjson MaxCompute

大数据开发套件-数据同步网络连通性总结及常见同步报错总结

发布时间:2018-03-07 17:29:27 浏览:2866 评论 :0

#总则:数据同步会尽量走内网连接。 ##一、关于测试连通 1,目前vpc测试连通性支持的数据源是 rds数据源,其他数据源vpc网络正在排期,金融云网络暂时不支持测试连通性。 2,跨区域内网测试连通性支持的是 rds 数据源,其他数据源也在规划中;云mongo和redis数据源内网跨区域经典网络是可以连通的 3,ecs自建数据源,实际上不用关心自建数据源的类型。

大数据 RDS ECS 日志 阿里技术协会 数据库 配置 安全组 测试 同步 aliyun 脚本 金融云 数据同步 html

一小时完成基于阿里云流计算的实时计算系统搭建

发布时间:2018-03-05 18:12:04 浏览:3945 评论 :1

目前,实时计算越来越被广泛应用,比如 实时ETL、实时报表、实时大屏展示等一些监控预警和在线系统的场景。企业对计算速度和消息更新速度要求越来越高。开源框架中,Storm,Sparks,Flink等在企业生产中大量投入使用,但是开发相对复杂,需要对接各种框架api、sdk等,另外人力成本相对较高。

架构 监控 mysql SQL 阿里技术协会 配置 Image logstash aliyun html varchar 流计算 实时计算

阿里云大数据利器之-RDS迁移到Maxcompute实现动态分区

发布时间:2017-08-30 11:15:43 浏览:7733 评论 :0

当前,很多用户的业务数据存放在传统关系型数据库上,例如阿里云的RDS,做业务读写操作。当数据量非常大的时候,此时传系关系型数据库会显得有些吃力,那么会经常有将mysql数据库的数据迁移到[大数据处理平台-大数据计算服务(Maxcompute,原ODPS)(https://www.aliyun.com/product/odps?spm=5176.doc27800.765261.309.dcjpg2),利用其强大的存储和计算能力进行各种查询计算,结果再回流到RDS。

云栖社区 大数据 阿里云 RDS HTTPS 配置 数据迁移 同步 aliyun string 数据同步 分区表 MaxCompute 动态分区

阿里云大数据利器之-RDS迁移到Maxcompute实现自动分区

发布时间:2017-08-30 11:13:50 浏览:4826 评论 :3

当前,很多用户的业务数据存放在传统关系型数据库上,例如阿里云的RDS,做业务读写操作。当数据量非常大的时候,此时传系关系型数据库会显得有些吃力,那么会经常有将mysql数据库的数据迁移到[大数据处理平台-大数据计算服务(Maxcompute,原ODPS)(https://www.aliyun.com/product/odps?spm=5176.doc27800.765261.309.dcjpg2),利用其强大的存储和计算能力进行各种查询计算,结果再回流到RDS。

云栖社区 大数据 阿里云 RDS HTTPS 配置 数据迁移 同步 aliyun string 数据同步 分区表 MaxCompute 云数据库RDS 动态分区

阿里云大数据利器之-使用sql实现流计算做实时展现业务( flume故障转移版 )

发布时间:2017-07-25 20:43:41 浏览:3986 评论 :1

实时业务处理的需求越来越多,也有各种处理方案,比如storm,spark等都可以。那以数据流的方向可以总结成数据源-数据搜集-缓存队列-实时处理计算-数据展现。本文就用阿里云产品简单实现了一个实时处理的方案。

云栖社区 大数据 SQL 配置 agent 控制台 aliyun 脚本 数据采集 流计算 实时计算 MaxCompute最佳实践 实时报表 实时展现

阿里云大数据利器之-使用flume+sql实现流计算做实时展现业务(归档Maxcompute)

发布时间:2017-07-25 20:39:52 浏览:4008 评论 :3

实时业务处理的需求越来越多,也有各种处理方案,比如storm,spark等都可以。那以数据流的方向可以总结成数据源-数据搜集-缓存队列-实时处理计算-数据展现。本文就用阿里云产品简单实现了一个实时处理的方案。

云栖社区 大数据 阿里云 HTTPS SQL 控制台 脚本 流计算 实时处理 实时计算 实时报表 实时大屏

大数据计算服务Maxcompute之--mapjoin原理和使用

发布时间:2017-07-12 22:34:37 浏览:2645 评论 :0

small is beautiful,small is powerful !

云栖社区 大数据 javascript 性能优化 服务器 HTTPS SQL reduce Mapreduce MaxCompute MapJoin 关联

阿里云大数据利器Maxcompute学习之--窗口函数实现分组TopN

发布时间:2017-06-27 19:50:09 浏览:4670 评论 :2

看到很多用户经常会问如何对分组内进行排序。官方文档:https://help.aliyun.com/document_detail/34994.html?spm=5176.doc27891.6.611.

大数据 阿里云 函数 排序 MaxCompute

大数据开发套件-数据集成-云mongo跨区域如何同步到Maxcompute

发布时间:2017-06-15 19:51:56 浏览:2517 评论 :0

在大数据开发套件中是可以实现mongo同步到Maxcompute。 数据集成文档:https://help.aliyun.com/document_detail/47677.html?spm=5176.7750354.6.599.jGn50I 后端是通过华东1区的调度资源进行数据的调度传输。

云栖社区 大数据 阿里云 服务器 HTTPS ECS 配置 集群 工单 主机 同步 数据同步 MaxCompute 云数据库MongoDB版 上云

阿里云大数据利器Maxcompute学习之-假如你使用过hive

发布时间:2017-05-19 19:49:47 浏览:5777 评论 :2

如果您是一个大数据开发工程师并且使用过hadoop的hive框架,那么恭喜您,阿里云的大数据计算服务-Maxcompute,您已经会了90%。这篇文章就来简单对比下Maxcompute和hive的异同,来方便刚开始使用Maxcompute的用户,从hive秒速迁移到Maxcompute的使用上。

云栖社区 大数据 javascript 飞天 阿里云 函数 HTTPS odps Image aliyun string static Hive 数据同步 存储

阿里云大数据利器Maxcompute学习之--分区表的使用

发布时间:2017-05-15 20:01:32 浏览:10497 评论 :0

初学大数据Maxcompute时部分用户不是很熟悉Maxcompute分区表的概念和使用,那这篇文章来简单介绍下分区表的概念及使用场景。  实际上,分区在很多框架中都有这个概念,比如开源框架中的hive等。

云栖社区 大数据 阿里云 string 分区表 Create MaxCompute

大数据阿里云产品的简单介绍理解

发布时间:2017-05-15 19:59:24 浏览:11874 评论 :1

   很多人问,大数据是什么。一个时尚的技术名词,一个互联网时代的标志。给人高端大气上档次的感觉,很多公司不说自己有大数据都不好意思跟别人谈业务。那我就谈谈我的一些看法来结合阿里云的数加大数据产品比较粗俗的介绍下大数据到底是什么。

云栖社区 大数据 算法 飞天 阿里云 服务器 日志 报表 Excel 存储 流计算 概念 MaxCompute 海量数据 云计算介绍