阿里巴巴大数据 —玩家社区 关注
手机版
  1. 云栖社区>
  2. 阿里巴巴大数据 —玩家社区>
  3. 博客>
  4. 正文

阿里巴巴大数据计算平台MaxCompute(原名ODPS)全套攻略(持续更新20171127)

隐林 2017-05-05 10:47:51 浏览15603 评论0 发表于: 阿里巴巴大数据 —玩家社区 >> MaxCompute(原ODPS)

大数据 架构 性能优化 阿里云 日志 odps 数据分析 数加 索引 安全机制

摘要: 10年老兵带你看尽MaxCompute大数据运算挑战与实践

60166fd7e4bacd90ad9528db57932418878f56e3 

118e2dd8c30452bdd22f71a1900e21218991a65d

概况介绍

大数据计算服务(MaxCompute,原名ODPS,产品地址:https://www.aliyun.com/product/odps)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。本文收录了大量的MaxCompute产品介绍、技术介绍,帮助您快速了解MaxCompute/ODPS。

新手入门

为MaxCompute新手用户提供入门级教程,如操作介绍、计量计费、数据上云、云上分析,帮助用户完成第一个SQL数据分析。

计费购买

提供MaxCompute计量计价说明,计费工具,售前计费沟通支持。

技术峰会

收录各界MaxCompute大数据技术峰会,多位技术大咖、行业实践者从技术与业务两个方面,与大家探讨大数据如何最快落地到实践。

·         演讲视频:http://yq.aliyun.com/webinar/play/188

·         PDF下载:https://yq.aliyun.com/attachment/download/?id=1449 

·         演讲整理文章:https://yq.aliyun.com/articles/72240

MaxCompute大数据语言的新发展

·         演讲视频:http://yq.aliyun.com/webinar/play/189

·         PDF下载:https://yq.aliyun.com/attachment/download/?id=1448 

·         演讲整理文章:https://yq.aliyun.com/articles/72284

大规模流式增量计算及其在阿里巴巴的应用

·         演讲视频:http://yq.aliyun.com/webinar/play/190

·         PDF下载:https://yq.aliyun.com/attachment/download/?id=1444 

·         演讲整理文章:https://yq.aliyun.com/articles/72242

PAI分布式机器学习平台计算模型演进之路

·         演讲视频:http://yq.aliyun.com/webinar/play/191

·         PDF下载:https://yq.aliyun.com/attachment/download/?id=1445 

·         演讲整理文章:https://yq.aliyun.com/articles/72362

MaxCompute数据上云与生态

·         演讲视频:http://yq.aliyun.com/webinar/play/192

·         PDF下载:https://yq.aliyun.com/attachment/download/?id=1446 

·         演讲整理文章:https://yq.aliyun.com/articles/72367

高可用大数据计算平台如何持续发布和演进

·         演讲视频:http://yq.aliyun.com/webinar/play/193

·         PDF下载:https://yq.aliyun.com/attachment/download/?id=1447 

·         演讲整理文章:https://yq.aliyun.com/articles/72282

专利大数据的云上裂变之路

·         演讲视频:http://yq.aliyun.com/webinar/play/194

·         PDF下载:https://yq.aliyun.com/attachment/download/?id=1440 

·         演讲整理文章:https://yq.aliyun.com/articles/72369

地产大数据趋势与应用实践

·         演讲视频:http://yq.aliyun.com/webinar/play/195

·         PDF下载:https://yq.aliyun.com/attachment/download/?id=1441 

·         演讲整理文章:https://yq.aliyun.com/articles/72386

用大数据打造你的变美频道

·         演讲视频:http://yq.aliyun.com/webinar/play/196

·         PDF下载:https://yq.aliyun.com/attachment/download/?id=1443 

·         演讲整理文章:https://yq.aliyun.com/articles/72250

云上大数据,零售新思维

·         演讲视频:http://yq.aliyun.com/webinar/play/197

·         PDF下载:https://yq.aliyun.com/attachment/download/?id=1442 

·         演讲整理文章:https://yq.aliyun.com/articles/72249

Workshop

该课程是基于大数据时代日志分析的基础需求的基础上,告知用户如果通过阿里云MaxCompute大数据解决方案来实现自己网站日志的用户画像。包括数据采集、数据加工以及数据最终的展现,最后通过MapReduce来解密好友推荐算法的实现原理。

MaxCompute1元试用体验馆

通过丰富的场景案例、教程,让您近距离低成本的感受MaxCompute大数据平台的魅力。

数据上云专题

对于大多数企业首先碰到的问题就是数据如何迁移到MaxCompute中。按照数据迁移场景,大致可以分为批量数据、实时数据、本地文件、日志文件等的迁移,下面我们针对每种场景分别介绍几种常用方案。

数据安全专题

收录了MaxCompute大数据平台安全资质、安全机制、数据安全白皮书、安全事件等,带你更深入的了解MaxCompute如何保护企业数据资产。

运维/容灾专题

收录了MaxCompute大数据平台运维成长过程,企业如何做好灾备、做好自动化运维保障等相关运维知识。

数据仓库专题

分享企业如何利用MaxCompute搭建数据仓库,如何做好ETL、建模、分层设计等相关数仓知识。

公开数据集

目前免费开放的数据类别包括:股票价格数据,房产信息,影视及其票房数据,所有的数据均被存储在MaxCompute 产品中的public_data 项目中。

大数据最佳实践

越来越多的企业和开发者选择MaxCompute,为了更好地展示这些优秀企业和个人开发者的伟大经验,搜集整理了这些最佳实践,希望这些最佳实践能够为你的开发工作带来一些帮助。

常见问题

为大家整理了关于MaxCompute的系列问题供大家查阅参考,覆盖产品包括MaxCompute、MaxCompute Studio、DataWork、MaxCompute SDK,涉及的知识点有数据同步、SQL/UDF/MR开发、JOB任务调度分析、计量计费、安装、注销等等。

生态兼容

MaxCompute 从研发的第一天起就被设计统一由 Restful API 提供服务。在 Restful API 之上,我们各种语言的 SDK。由 SDK 编写形成的各种工具、驱动等等构成了 MaxCompute 的用户接口层,即外围生态;截止到今天,MaxCompute已支持JDBC、Java、python、R、OpenMR等开放接口,兼容现有大数据生态系统。

产品功能介绍

整理了MaxCompute官网使用手册之外的一些功能知识点介绍。

技术原理介绍

深入浅出的剖析MaxCompute技术原理,比如SQL运行原理、MR机制、伏羲调度机制、盘古存储机制、优化器等等。

大数据基础知识

介绍了目前关键的几个大数据方面的技术,什么是分布式计算、分布式存储、调度、监控等等,帮助开发者从Java工程师成功过渡到大数据工程师。

产品/技术资讯

提供MaxCompute最新的资讯、业界动态、领域技术应用、商机等内容。

与MaxCompute专家在线沟通/问答

招聘信息

 

欢迎加入“数加·MaxCompute购买咨询”钉钉群(群号: 11782920)进行咨询,群二维码如下:

IMG_3471


 6c4b69af9fd1b465628b63fcee73224de0b62357

阿里巴巴大数据-玩家社区 https://yq.aliyun.com/teams/6/

---阿里大数据博文,问答,社群,实践,有朋自远方来,不亦说乎……

bba01b493e1c5d904e882b1c380673c6ebe49a98

 

本文为云栖社区原创内容,未经允许不得转载,如需转载请发送邮件至yqeditor@list.alibaba-inc.com;如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:yqgroup@service.aliyun.com 进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。

用云栖社区APP,舒服~

【云栖快讯】2017互联网超级工程阿里双11完美落幕,交易额突破1682亿,但阿里工程师如何玩转“超级工程”,背后黑科技又是如何?12月13-14日,12位大咖直播分享揭秘1682亿背后技术实践,马上预约  详情请点击

网友评论

关注
隐林
阿里云大数据产品专家,擅长MaxCompute...
218篇文章|2041关注
快速、完全托管的TB/PB级数据仓库解决方案,向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更...

大数据开发套件(Data IDE),提供可视化开发界面、离线任务调度运维、快速数据集成、多人协同工作等功能,为您...