对象存储的发展历程揭秘

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介:
80222

  背景介绍:

硅谷多家技术公司顾问Philippe Nicolas贴出了一张有趣的对象存储发展历程图片,利用数据表细化出内容寻址存储(CAS)即对象存储的发展历程。

802表

该图表汇总了多家企业不同产品的起源,X轴代表时间线,Y轴则为企业,项目和产品名称,并作出评论和分析。

和很多创新一样,这个图表充分说明,几乎所有的系统都来自小型厂商。其它IT细分市场是如此,存储亦是如此,即便后者始终与硬件和基础设施相关。

图表中蓝色星标代表一些网络巨头发表的重要论文。这些论文引起了一连串适用于超大规模环境的对象存储方案的商业运作。

GFS(谷歌文件系统),MapReduce和BigTable加上Hadoop,亚马逊Dynamo,雅虎MObStor和Facebook Cassandra一直是上图大多数公司的主要参考资料。但这些公司并未发现商用产品能够充分满足它们的预期需求,还不肯为产品和复杂性的限制大把烧钱,而更乐意基于它们强大的Linux DNA,设计,构建,开发,控制和掌握自身的技术。

为了方便阅读,左下方进行了标注说明。红圈代表收购案,橙圈代表OEM,实心蓝圈代表开源,空心代表特殊开源,菱形为公司或产品,蓝色星标为重要论文,红色星标为项目,橙色为Apache Hadoop(开源软件架构),绿色星标代表产品。

第一波浪潮

我们可以清楚地看到1998年到2005年CAS厂商带来的首波浪潮。FilePool公司显然走在该行业的前列。该公司设计了一种全新的方式对大量数据进行长期有效存储。这一举措同时也拉开了磁盘数据归档的序幕。

此外,图表还列出了Bycast, Evertrust, Permabit, Archivas, Sun(拥有Honeycomb项目——针对固定内容归档的技术)公司以及极具潜力的Caringo公司,它为CAS和后期的对象存储阶段之间架起真实的桥梁。

而为了说明这个拥有大好前程细分市场的魅力,几乎所有厂商都被收购了。

比如:

2001年,FilePool被EMC收购成为Centera产品;

2013年,Evertrust被Nexsan收购,更名为Assureon,然后它又在2013年被Imation以1亿美元吞并;

2007年,Archivas 被HDS以1.2亿美元收购变为HCP(日立内容平台),2010年,Bycast被NetApp收购。

第二波浪潮

第二波浪潮是在2004/2005年到2009年,这个时期出现了真正的对象存储先锋。该时期和之前定义的CAS时代有小部分重叠。主要的厂商为Caringo, Cleversafe, B-Virtual则变为Amplidata, Compuverde, DDN(Bucket File System),而在2015年,Redcurrant项目分支出了OpenIO公司。

我们同样列出了Ceph和Gluster,这两个开源项目很有名,在市场上也备受瞩目,后期被红帽收购,Ceph是2014年通过Inktank以1.75亿美元收购,而Gluster则早在2011年就被红帽以1.36亿美元收购。在2003年,红帽就已经开启它的存储收购战略,以3300万美元收购Sistina公司用于其集群卷管理器和文件系统。

这一时期也是为保护数据提供更好数据完整性和持久性的新存储方式正式亮相,纠删码方案,通过Cleversafe和Amplidata得到改善。2006年,也是Amazon S3元年,它是由亚马逊推出的破坏性存储模式,彻底改变了IT世界。这款云存储产品只需简单订阅即可通过网络进行远程访问。隔年Nirvanix推出,旨在处理市场企业级部分的问题。

第三波浪潮

第三波变革出现在2008/2009年至今,出现了大量的开源项目和产品例如:

OpenStack Swift;

Skylable;

Manta(来自Joyent公司);

Minio;

OpenIO;

Ambry(来自LinkedIn公司);

Torus;

Microsoft Azure;

Google Cloud Storage。

这对大数据和一些瞄准企业,电信运营商或服务提供商内部部署需求的商用产品起到了真正的促进作用。这里我们可以看到一些打算构建并提供新的数据存储平台的厂商,采用多个访问协议或方法作为最终的整合因素。

开始虽然你拥有纠删码和访问法的特性有助于形成对比,但想要差异化的解决方案还是很难。一些厂商增加了HDFS(分布式文件存储)连通性,而Hortonworks公司提出了Ozone项目(Hadoop对象存储环境),说明所有这些系统的可能性融合。最终,HDFS只是一个访问法。

这一时期可能是三波浪潮中最为活跃的时期,包含了绝大多数的开源解决方案。

在2000年,全球只有四款产品存在——FilePool, Bycast, Evertrust和Permabit。现在全部销声匿迹——三家被收购(一些产品仍在进行开发,比如NetApp StorageGRID来自Bycast),Permabit在2011年停产。2010年,约有超过30款产品,其中包含一些开源产品。而现在,因为开源,市场上有超过45个系统发售。

而开源始于2004年Ceph,在2008年加速前行,现在有16个开源系统包含在上述的45个系统中。

收购方面,近几年来对成立五年以上的公司进行收购已然屡见不鲜。这在上图有了极好地表现。最大的收购案就是IBM在尝试竞购Amplidata无果之后拿下了Cleversafe。

经验汇总

从这段CAS与对象存储发展进程里得出的经验教训:

HTTP已经证实了它在存储即传输协议中的价值;

S3成为实际意义上的市场标准;

采用x86商用服务器存储是现实的,这个软件定义存储的出现已证实。而纠删码是一个必须条件,尤其在大规模环境;

开源是现实的,它可以更方便快速地应用于高容量系统;

另外,不要忘记文件,它始终存在;

微软除了Azure完全没存在感;

Veritas,长期数据和存储管理巨头,从赛门铁克拆分之后保持独立状态,也因为缺乏产品而被踢出局;

最后,我们可以重新审视小型厂商和团队的创新。存储对这一规则也非例外。





====================================分割线================================


本文转自d1net(转载)

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
目录
相关文章
|
11月前
|
存储 SQL 分布式计算
【存储】2022 年的 4 个开源对象存储平台
【存储】2022 年的 4 个开源对象存储平台
|
3月前
|
Cloud Native Java 开发工具
云原生 阿里云分布式文件系统 对象存储OSS 服务配置
【1月更文挑战第8天】云原生 阿里云分布式文件系统 对象存储OSS 服务配置
|
10月前
|
存储 分布式计算 安全
带你读《云存储应用白皮书》之14:1. 对象存储
带你读《云存储应用白皮书》之14:1. 对象存储
244 0
|
存储 Cloud Native 对象存储
当云原生成为一种显学,对象存储和数据湖如何顺势而为
本文主要介绍云原生以及对象存储如何支持云原生。
464 0
当云原生成为一种显学,对象存储和数据湖如何顺势而为
|
存储 监控 安全
云存储-对象存储的基本概述 | 学习笔记
快速学习云存储-对象存储的基本概述
471 0
云存储-对象存储的基本概述 | 学习笔记
|
存储 运维 分布式计算
专访阿里云罗庆超:对象存储的过去、现在、未来
发展到现在,数据湖越来越受企业重视,美国知名科技企业风投机构 A16Z 经过调查发现数据湖已成为现代化数据分析架构中的中流砥柱,处于数据分析架构的核心位置。HDFS 和对象存储都是可以用来构建数据湖的组件,但对象存储更能适应当前存算分离的发展趋势,所以越来越多的企业转向了对象存储,阿里的数据湖在 2019 年也从 Hadoop 生态转向了对象存储 OSS。
258 0
专访阿里云罗庆超:对象存储的过去、现在、未来
|
存储 域名解析 安全
带你读《对象存储实战指南》第一章对象存储概述1.5公共云对象存储服务的关键能力
《对象存储实战指南》第一章对象存储概述1.5公共云对象存储服务的关键能力
232 0
带你读《对象存储实战指南》第一章对象存储概述1.5公共云对象存储服务的关键能力
|
NoSQL 对象存储
带你读《对象存储实战指南》第一章对象存储概述1.4公共云对象存储服务实现架构(二)
《对象存储实战指南》第一章对象存储概述1.4公共云对象存储服务实现架构(二)
284 0
|
存储 运维 NoSQL
带你读《对象存储实战指南》第一章对象存储概述1.4公共云对象存储服务实现架构(一)
《对象存储实战指南》第一章对象存储概述1.4公共云对象存储服务实现架构(一)
175 0
带你读《对象存储实战指南》第一章对象存储概述1.4公共云对象存储服务实现架构(一)
|
存储 弹性计算 文件存储
带你读《对象存储实战指南》第一章对象存储概述1.3存储技术架构(二)
《对象存储实战指南》第一章对象存储概述1.3存储技术架构(二)
304 0
带你读《对象存储实战指南》第一章对象存储概述1.3存储技术架构(二)