1. 云栖社区>
  2. 博客列表>
  3. 正文

海量数据分布式存储--Apache HDFS之最新进展

云计算小粉 2016-11-02 22:27:23 浏览719 评论0

大数据 hdfs hadoop 云栖大会 Apache 数据处理 集群 对象存储 分布式存储 带宽 存储

摘要: 本文PPT来自Intel研发经理、Hadoop committee成员郑锴于10月16日在2016年杭州云栖大会上发表的《海量数据分布式存储--Apache HDFS》。

本文PPT来自Intel研发经理、Hadoop committee成员郑锴于10月16日在2016年杭州云栖大会上发表的《海量数据分布式存储--Apache HDFS》。

目前,大数据正在迅猛地发展,同时大数据技术本身也在不断地发展和完善,以满足人们日益庞大的数据处理需求。这些需求主要体现以下这六个方面:

第一,大数据要存储和处理的数据量越来越庞大。
第二,人们对处理数据速度的期望越来越高。
第三,存储的场景更复杂和丰富。
第四,存储设备开始变得廉价、读取速度变得更快。
第五,网络带宽越来越高,10Gb的网络已经是标配,40Gb乃至100Gb也将到来。

第六,存储和计算相分离,大数据加速向云端迁移。

到目前为止,在HDFS的存储演化中相继出现了Cace缓存支持、HSM多层次存储体系、EC纠删码等等技术,极大地提高了HDFS的性能和安全性。在未来,HDFS将把重点转移到智能存储管理、对象存储和云端存储三大方面上。其中,智能储存管理能提供端到端储存解决方案,完整收集集群储存和数据访问信息,智能感知存储状态变化并作出策略调整;对象存储将使对象变得更为轻量,使其对一些场景更为友好;云端存储则利用统一的Hadoop文件系统API和快速弹性的HDFS缓存层使存储更为便利。相信随着Apache HDFS日益发展,海量数据分布式存储将变得更加便捷快速。

262f471038e7385342a3543871f6856e6585aa15

c930fae2ee81c38fbc36d53f4aad99f9109acb67

ab3c208ee980a1f650f76d3a003d29099d45f0ef

f2cf15f99d37601f2867e7b8779701af9156ce15



702fa6b194d5f0776262a4c4407e19fdee9a025c

0ed4834c7c6226106ab83bd33c3a46c7ee7cff1a

d14aa3fddb6f04311df708f2db4db2aa19c72fc5

ade96698c2b0b10f50c48ee7076fa73e91689ed4





1ca36688f765032286abf6002d40b610d929ff06

55e1b5b6bfa1fc14ab6fc799b81c2195c488d8be

d2668a9d43fbc6ea01d25d60dcb6bade7c6460bd

b75769fc4e8ab19497c6ca650ef094f8b8799f3d

d7d89a3aedd220015b16a3ae7fe325009a1ba28a

66738ae2cab78f94fb616ffe308491f122cc7f10

e87063e5c886c89e08f69e3cf40dec3b9f7f3823




版权声明:本文内容由互联网用户自发贡献,本社区不拥有所有权,也不承担相关法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:yqgroup@service.aliyun.com 进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。

用云栖社区APP,舒服~

【云栖快讯】2017互联网超级工程阿里双11完美落幕,交易额突破1682亿,但阿里工程师如何玩转“超级工程”,背后黑科技又是如何?12月13-14日,12位大咖直播分享揭秘1682亿背后技术实践,马上预约  详情请点击

网友评论

一种稳定、可靠、容量和服务能力可弹性伸缩的分布式关系型数据库服务。 更多>

作为阿里云数据存储产品体系的重要组成部分,致力于提供低成本、高可靠的数据归档服务,适合于海量数据的长期归档、备份... 更多>

是阿里云为云服务器ECS提供的低时延、持久性、高可靠的数据块级随机存储。 更多>

为您提供简单高效、处理能力可弹性伸缩的计算服务,帮助您快速构建更稳定、安全的应用,提升运维效率,降低 IT 成本... 更多>
社区之星年度评选,投票可抽奖

社区之星年度评选,投票可抽奖