看两种截然不同的设计理念:分布式文件系统支持大和小文件的思考

简介: 为何Google GFS设计成对大文件友好,而像腾讯的TFS(Tencent File System)和淘宝的TFS(Taobao File System)却设计成对小文件友好了? 这一点非常好理解,两个TFS都用来满足图片等大量小文件的需求。

为何Google GFS设计成对大文件友好,而像腾讯的TFSTencent File System)和淘宝的TFSTaobao File System)却设计成对小文件友好了?

这一点非常好理解,两个TFS都用来满足图片等大量小文件的需求。但是两者是矛盾的吗?答案是否。实际中TFS也在努力支持大文件,GFS也要支持小文件。

 

GFS通过在GFS之上构建Bigtable来支持大量小文件,腾讯的TFS也支持大文件。这里必然存在不少差异,哪种设计理念更好了?

就对GFSBigtable的了解来看,从大到小的设计容易理解和实现,整体复杂度尚可,通过冗余来保证性能,关键技术点是采取了文件裂变和文件合并的方法,将疑难问题迎刃而解。

相关文章
|
存储 监控 算法
|
10月前
|
存储 大数据
|
10月前
|
存储 监控 大数据
|
10月前
|
存储 监控 大数据
|
机器学习/深度学习 存储 分布式计算
HDFS 高可用和高扩展机制分析|青训营笔记
文章主要讲解:1.HDFS 元数据服务的高可用;2.HDFS 数据存储高可用;3.HDFS 元数据服务的高扩展性;4.HDFS 数据存储的高扩展性
189 0
HDFS 高可用和高扩展机制分析|青训营笔记
|
存储 算法 固态存储
3.1存储系统基本概念
3.1存储系统基本概念
164 0
3.1存储系统基本概念
|
存储 Unix Java
主流分布式文件系统介绍| 学习笔记
快速学习主流分布式文件系统介绍。
299 0
主流分布式文件系统介绍| 学习笔记
|
存储 芯片 内存技术
存储系统——基本概念
存储系统——基本概念
218 0
存储系统——基本概念
|
存储 运维 负载均衡
带你读《存储漫谈Ceph原理与实践》第一章分布式存储概述1.1存储系统的架构演进(一)
《存储漫谈Ceph原理与实践》第一章分布式存储概述1.1存储系统的架构演进…
带你读《存储漫谈Ceph原理与实践》第一章分布式存储概述1.1存储系统的架构演进(一)
|
存储 缓存 大数据
带你读《存储漫谈Ceph原理与实践》第一章分布式存储概述1.1存储系统的架构演进(二)
带你读《存储漫谈Ceph原理与实践》第一章分布式存储概述1.1存储系统的架构演进
带你读《存储漫谈Ceph原理与实践》第一章分布式存储概述1.1存储系统的架构演进(二)