1. 云栖社区>
  2. 博客列表>
  3. 正文

Hadoop存储与计算分离实践

云计算小粉 2016-11-02 23:05:15 浏览2072 评论0

阿里云 OSS hadoop 云栖大会 基础设施 集群 数据迁移 e-mapreduce 带宽 磁盘 存储

摘要: 本文PPT来自阿里云E-MapReduce团队的余根茂于10月16日在2016年杭州云栖大会上发表的《Hadoop存储于计算分离实践》。

本文PPT来自阿里云E-MapReduce团队的余根茂于10月16日在2016年杭州云栖大会上发表的《Hadoop存储于计算分离实践》。

Hadoop部署一般可大致分为传统集群部署和云上集群部署。具体而言,对于传统集群部署,存储和计算是重点,计算能力加上存储能力大致等同于这个集群的能力。传统集群往往包含很多数据“中心”,并以集群混部的方式部署。在理想情况下,一个集群系统往往希望产生更少的数据迁移,并且达到更高的资源利用率。然而在现实中,当带宽逐渐不再是稀缺资源,磁盘不在是承载计算的主战场时,计算和存储这两者之间便会随之产生木桶效应,造成集群的资源浪费。同时,随着人们对于本地数据和远程数据对比逐渐深入,混部的劣势开始逐渐暴露出来。这些劣势包括更大的集群资源浪费、更差的集群扩展性以及不再万能的数据本地化,并且引发了人们对于混合部署的合理性的探讨。

另外一种更新颖的方式是云上集群部署方式。它利用了现有的完备的云计算基础设施在云上集群部署,并且可以达到“一键部署,即开即用”的程度。当然,云上部署也面临储存成本高、储存质量下降等新的挑战。所以,一种新的替代方案--Hadoop+OSS出现了,这种方案基于OSS的分离部署,利用Hadoop对OSS的支持,进行了针对性的优化,未来系统将主要针对小文件预取和缓存和元数据视图系统进行优化。目前,这一方案经过测试,性能达到预期要求,并且还能节省不少的计算成本和存储成本。

01947e6c6129ae0c91d78e33a17c9ef799d60921

89168bd80cda084edc01b31d697101c05db6f1e5

45317c8c2868d89aa582af60f4de39d2c1303acf

decc320464c26f5333dc96517a300b0b59812d35

0a877abdf6122ceb84449829e29f17c9c60981af

112fff5c8a809a7ff5c9db0a7cfee4aa48dded32

925d03073e6693c629104398209cd469126be656

4f1bc8e0247e9853d217140da6c3faae8bbb9db8

6150c47b8493d5882fab3ae078efad33534027c7

c75c2df084e8dd6754c06e6dc422a47f5021af0f

9e9b99fc87707d2787e5dc425a7809ae5edecf2c

182a1ef2bb78140f7c61e81a0909e580dda67515


a2d8bf0f90179afa815e2a09a362fbaf9a6e61f9

d2a88367837d81d127d2d9db98b847f55f5a6e5c

ae72eb05f289760dffb17fcdf9e9acf1d71e5bf3


版权声明:本文内容由互联网用户自发贡献,本社区不拥有所有权,也不承担相关法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:yqgroup@service.aliyun.com 进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。

用云栖社区APP,舒服~

【云栖快讯】2017互联网超级工程阿里双11完美落幕,交易额突破1682亿,但阿里工程师如何玩转“超级工程”,背后黑科技又是如何?12月13-14日,12位大咖直播分享揭秘1682亿背后技术实践,马上预约  详情请点击

网友评论

提供海量、安全和高可靠的云存储服务。RESTful API的平台无关性,容量和处理能力的弹性扩展,按实际容量付费... 更多>

一站式提供企业即时通讯、销售管理、协同办公。 更多>

一种适用于大规模并行批处理作业的分布式云服务。可支持海量作业并发规模,系统自动完成资源管理,作业调度和数据加载,... 更多>

为您提供简单高效、处理能力可弹性伸缩的计算服务,帮助您快速构建更稳定、安全的应用,提升运维效率,降低 IT 成本... 更多>
社区之星年度评选,投票可抽奖

社区之星年度评选,投票可抽奖