1. 云栖社区首页>
  2. 云课堂>
  3. 第四章 大数据平台的集群管理

第四章 大数据平台的集群管理

753 人浏览
收藏 取消收藏

第四章 大数据平台的集群管理

大数据 阿里云 公开课 集群 产品学习 开发技术 云大学 云计算入门

第一节 背景介绍 (04:00)


第二节 ODPS概述 (05:00)


第三节 分布式文件系统回顾 (04:00)


第四节 跨IDC集群规划形式 (10:00)


第五节 集群数据复制 (05:00)


第六节 跨IDC集群规划案例——ODPS (04:00)


第七节 ODPS总体架构 (03:00)


第八节 ODPS任务调度 (06:40)


第九节 ODPS接入层与服务层 (06:40)


第十节 ODPS作业调度与执行 (16:00)


第十一节 ODPS相关讨论 (15:00)


第十二节 未来挑战 (02:30)

讲师介绍

黄东平

先后就职于微软、腾讯和阿里。在微软期间参与搜索引擎必应的开发工作。在腾讯基础架构部期间,参与rpc框架poppy的研发,并带队完成了调度系统tborg2.0的开发工作。于2012年加入阿里云飞天团队任架构师,主导完成了基础库stone开发,调度系统执行服务器tubo的开发。如今在数据事业部odps团队,做机群管控和机器学习平台DT PAI的研发工作。

课程介绍

本章针对阿里大数据管理平台ODPS进行讲解,首先对ODPS在整体系统平台中的位置和主要功能进行阐述,并说明ODPS演化和发展历程,之后针对ODPS总体架构和主要功能进行讲解,使学生了解ODPS的主要运作机制

更多>

惠州云栖大会——人工智能专场

惠州云栖大会——人工智能专场


惠州云栖大会——创客专场

惠州云栖大会——创客专场


惠州云栖大会——物联网专场

惠州云栖大会——物联网专场


惠州云栖大会——新制造专场

惠州云栖大会——新制造专场


惠州云栖大会——阿里云生态专场

惠州云栖大会——阿里云生态专场


惠州云栖大会——云市场专场

惠州云栖大会——云市场专场


MongoDB黑客“赎金事件”解读及防范详解

近期关于MongoDB黑客『赎金事件』闹得沸沸扬扬,不少裸奔的公网MongoDB中招。 作为提供云数据库MongoDB服务的团队,阿里云MongoDB团队对此事件非常关注,第一时间在云栖社区发表了文章《通过MongoDB安全事件来谈谈为什么要用云服务》,并分享了《MongoDB安全checklist及最优配置模板》。 为了进一步说明本次事件,云栖社区特别邀请阿里云数据库专家,直播解读这次事件来龙去脉,以及需要为MongoDB采取的安全防范措施,同时也会向大家介绍阿里云数据库MongoDB服务在安全方面做的一些工作以及如何来用好这些功能,以更好的保障数据安全(使用云主机自建MongoDB服务的用户可参看阿里云安全团队发布的公告《MongoDB数据库未授权访问漏洞及加固》)。 分享大纲: * MongoDB黑客『赎金事件』解读 * MongoDB安全checklist * 使用阿里云数据库MongoDB服务来保障您的数据安全 文章链接: * 《通过MongoDB安全事件来谈谈为什么要用云服务》:https://yq.aliyun.com/articles/68436 * 《MongoDB 安全 checklist 及最优配置模板》:https://yq.aliyun.com/articles/68488 * 《MongoDB数据库未授权访问漏洞及加固》:https://help.aliyun.com/knowledge_detail/37451.html


阿里沈询:分布式事务原理与实践(下)

在2016年12月28日,阿里中间件“网红”沈询已经做过该话题的上半部分分享。本次直播是本话题下半部分分享。 分布式数据库之中,一个最重要待解决的问题就是分布式事务应该怎么支持。往往一提到分布式事务,就立刻会联想到性能低,速度慢,然而真的是这样么?有没有一些方式和方法,能够比较好的解决这个问题呢?阿里针对这个场景又是怎么去实践的呢? 阿里中间件资深技术专家沈询,将于2017年1月17日19:30做客云栖直播,继续为大家深度分享《分布式事务原理与实践》。 关于主讲人: * 沈询,阿里中间件的资深技术专家,主要负责阿里的分布式数据库DRDS(TDDL)和阿里的分布式消息服务ONS(RocketMQ/Notify)两个系统。 更多: * 了解各路经过8次双11历练的大神级产品,沈询负责的DRDS也在其中,欢迎访问阿里中间件:www.aliyun.com/aliware * 【视频回顾】阿里沈询:分布式事务原理与实践:https://yq.aliyun.com/edu/lesson/play/508


Weex Conf:最佳实践论坛

Weex 作为阿里开源的高性能跨平台移动开发框架,开源至今倍受关注。 这次 WeexConf 将是Weex团队首次全明星阵容集体亮相,大会上半场是一个关于 Weex 你不能错过的 Keynote,下半场包含技术实践和最佳实践两个分论坛,让快速大家玩转 Weex。 本视频为Weex Conf下午最佳实践论坛视频。


Weex Conf:技术实践论坛

Weex 作为阿里开源的高性能跨平台移动开发框架,开源至今倍受关注。 这次 WeexConf 将是Weex团队首次全明星阵容集体亮相,大会上半场是一个关于 Weex 你不能错过的 Keynote,下半场包含技术实践和最佳实践两个分论坛,让快速大家玩转 Weex。 本视频为Weex Conf下午技术实践论坛。