Hadoop存储与计算分离实践

  1. 云栖社区>
  2. 博客列表>
  3. 正文

Hadoop存储与计算分离实践

云计算小粉 2016-11-02 23:05:15 浏览2492 评论0

摘要: 本文PPT来自阿里云E-MapReduce团队的余根茂于10月16日在2016年杭州云栖大会上发表的《Hadoop存储于计算分离实践》。

本文PPT来自阿里云E-MapReduce团队的余根茂于10月16日在2016年杭州云栖大会上发表的《Hadoop存储于计算分离实践》。

Hadoop部署一般可大致分为传统集群部署和云上集群部署。具体而言,对于传统集群部署,存储和计算是重点,计算能力加上存储能力大致等同于这个集群的能力。传统集群往往包含很多数据“中心”,并以集群混部的方式部署。在理想情况下,一个集群系统往往希望产生更少的数据迁移,并且达到更高的资源利用率。然而在现实中,当带宽逐渐不再是稀缺资源,磁盘不在是承载计算的主战场时,计算和存储这两者之间便会随之产生木桶效应,造成集群的资源浪费。同时,随着人们对于本地数据和远程数据对比逐渐深入,混部的劣势开始逐渐暴露出来。这些劣势包括更大的集群资源浪费、更差的集群扩展性以及不再万能的数据本地化,并且引发了人们对于混合部署的合理性的探讨。

另外一种更新颖的方式是云上集群部署方式。它利用了现有的完备的云计算基础设施在云上集群部署,并且可以达到“一键部署,即开即用”的程度。当然,云上部署也面临储存成本高、储存质量下降等新的挑战。所以,一种新的替代方案--Hadoop+OSS出现了,这种方案基于OSS的分离部署,利用Hadoop对OSS的支持,进行了针对性的优化,未来系统将主要针对小文件预取和缓存和元数据视图系统进行优化。目前,这一方案经过测试,性能达到预期要求,并且还能节省不少的计算成本和存储成本。

01947e6c6129ae0c91d78e33a17c9ef799d60921

89168bd80cda084edc01b31d697101c05db6f1e5

45317c8c2868d89aa582af60f4de39d2c1303acf

decc320464c26f5333dc96517a300b0b59812d35

0a877abdf6122ceb84449829e29f17c9c60981af

112fff5c8a809a7ff5c9db0a7cfee4aa48dded32

925d03073e6693c629104398209cd469126be656

4f1bc8e0247e9853d217140da6c3faae8bbb9db8

6150c47b8493d5882fab3ae078efad33534027c7

c75c2df084e8dd6754c06e6dc422a47f5021af0f

9e9b99fc87707d2787e5dc425a7809ae5edecf2c

182a1ef2bb78140f7c61e81a0909e580dda67515


a2d8bf0f90179afa815e2a09a362fbaf9a6e61f9

d2a88367837d81d127d2d9db98b847f55f5a6e5c

ae72eb05f289760dffb17fcdf9e9acf1d71e5bf3


用云栖社区APP,舒服~

【云栖快讯】新年大招!云栖社区为在读大学生/研究生准备了一份学(huan)习(zhuang)攻略,发布博文即有机会赢得iPad mini 4等大奖,学习换装两不误!欢迎报名参与~  详情请点击

网友评论

云计算小粉
文章230篇 | 关注102
关注
提供海量、安全和高可靠的云存储服务。RESTful API的平台无关性,容量和处理能力的弹性... 查看详情
一种适用于大规模并行批处理作业的分布式云服务。可支持海量作业并发规模,系统自动完成资源管理,... 查看详情
阿里云函数计算(Function Compute)是一个事件驱动的全托管计算服务。通过函数计... 查看详情
为您提供简单高效、处理能力可弹性伸缩的计算服务,帮助您快速构建更稳定、安全的应用,提升运维效... 查看详情
2017阿里千余份技术干货大盘点

2017阿里千余份技术干货大盘点