海量数据分布式存储--Apache HDFS之最新进展

简介: 本文PPT来自Intel研发经理、Hadoop committee成员郑锴于10月16日在2016年杭州云栖大会上发表的《海量数据分布式存储--Apache HDFS》。

本文PPT来自Intel研发经理、Hadoop committee成员郑锴于10月16日在2016年杭州云栖大会上发表的《海量数据分布式存储--Apache HDFS》。

目前,大数据正在迅猛地发展,同时大数据技术本身也在不断地发展和完善,以满足人们日益庞大的数据处理需求。这些需求主要体现以下这六个方面:

第一,大数据要存储和处理的数据量越来越庞大。
第二,人们对处理数据速度的期望越来越高。
第三,存储的场景更复杂和丰富。
第四,存储设备开始变得廉价、读取速度变得更快。
第五,网络带宽越来越高,10Gb的网络已经是标配,40Gb乃至100Gb也将到来。

第六,存储和计算相分离,大数据加速向云端迁移。

到目前为止,在HDFS的存储演化中相继出现了Cace缓存支持、HSM多层次存储体系、EC纠删码等等技术,极大地提高了HDFS的性能和安全性。在未来,HDFS将把重点转移到智能存储管理、对象存储和云端存储三大方面上。其中,智能储存管理能提供端到端储存解决方案,完整收集集群储存和数据访问信息,智能感知存储状态变化并作出策略调整;对象存储将使对象变得更为轻量,使其对一些场景更为友好;云端存储则利用统一的Hadoop文件系统API和快速弹性的HDFS缓存层使存储更为便利。相信随着Apache HDFS日益发展,海量数据分布式存储将变得更加便捷快速。

262f471038e7385342a3543871f6856e6585aa15

c930fae2ee81c38fbc36d53f4aad99f9109acb67

ab3c208ee980a1f650f76d3a003d29099d45f0ef

f2cf15f99d37601f2867e7b8779701af9156ce15



702fa6b194d5f0776262a4c4407e19fdee9a025c

0ed4834c7c6226106ab83bd33c3a46c7ee7cff1a

d14aa3fddb6f04311df708f2db4db2aa19c72fc5

ade96698c2b0b10f50c48ee7076fa73e91689ed4





1ca36688f765032286abf6002d40b610d929ff06

55e1b5b6bfa1fc14ab6fc799b81c2195c488d8be

d2668a9d43fbc6ea01d25d60dcb6bade7c6460bd

b75769fc4e8ab19497c6ca650ef094f8b8799f3d

d7d89a3aedd220015b16a3ae7fe325009a1ba28a

66738ae2cab78f94fb616ffe308491f122cc7f10

e87063e5c886c89e08f69e3cf40dec3b9f7f3823




相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
1月前
|
存储 分布式计算 Hadoop
分布式文件系统(HDFS)
分布式文件系统(HDFS)【2月更文挑战第15天】
37 1
|
8月前
|
存储 分布式计算 安全
分布式文件系统(HDFS产生背景及定义 HDFS优缺点 HDFS体系架构 HDFS文件块大小)
分布式文件系统(HDFS产生背景及定义 HDFS优缺点 HDFS体系架构 HDFS文件块大小)
155 0
|
4月前
|
存储 分布式计算 大数据
【云计算与大数据技术】分布式协同系统Chubby锁、ZooKeeper在HDFS中的使用讲解(图文解释 超详细)
【云计算与大数据技术】分布式协同系统Chubby锁、ZooKeeper在HDFS中的使用讲解(图文解释 超详细)
64 0
|
9月前
|
存储 缓存 大数据
大数据数据存储的分布式文件系统的HDFS的核心机制理解的缓存机制
在 Hdfs 中,数据的复制和原理是基于块的分布式存储。
54 0
|
9月前
|
存储 大数据
大数据数据存储的分布式文件系统的HDFS的核心机制理解的数据读/写原理
在 Hdfs 中,数据的读写原理是基于块的分布式存储。
52 0
|
9月前
|
存储 大数据
大数据数据存储的分布式文件系统的HDFS的基本使用的命令行接口的拷贝/移动文件
在 Hdfs 中,使用命令行接口可以方便地对数据进行操作。
49 1
|
9月前
|
存储 大数据
大数据数据存储的分布式文件系统的HDFS的基本使用的命令行接口的导入/导出文件
在 Hdfs 中,使用命令行接口可以方便地对数据进行操作。
49 0
|
9月前
|
存储 大数据
大数据数据存储的分布式文件系统的HDFS的基本使用的命令行接口的查看文件内容
在 Hdfs 中,使用命令行接口可以方便地对数据进行操作。
52 0
|
6月前
|
存储 分布式计算 Hadoop
黑马程序员-大数据入门到实战-HDFS分布式存储
黑马程序员-大数据入门到实战-HDFS分布式存储
86 0
|
9月前
|
存储 大数据
大数据数据存储的分布式文件系统的HDFS的核心机制理解的认证机制
在 Hdfs 中,数据的复制和原理是基于块的分布式存储。
76 0

热门文章

最新文章

推荐镜像

更多