存储初创企业Versity公司S3对象存储接口

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介:

存储初创企业Versity公司提供S3对象存储接口

 大量数字化处理对象。

Versity公司是一家采用多线程SAM-QFS的归档软件初创企业。

这家年轻的公司成立于2011年3月,CEO Bruce Gilpin拥有风险投资背景,而CTO则为Harriet Coverston。她自1986年起即在LSC(即Large Storage Configurations)公司工作并担任技术负责人职务,而该公司正是QFS(即快速文件系统)的开发方。

QFS能够对磁盘驱动器进行分组,并为其提供一套文件系统。该软件后被Sun公司收购,Coverston亦在工作一段时间后随甲骨文收购Sun而转投数据库巨头旗下。

在Sun公司中,QFS与存储及归档管理器(简称SAM)配合使用,后者负责管理磁盘与磁带等批量存储资源,而SAM-QFS即由此而生。Sun公司于2008年3月将其纳入OpenSolaris项目。这是一款层级化存储管理产品(简称HSM),能够将冷门文件由前端磁盘复制至磁带(IBM、LTO与甲骨文格式),整个过程以后台方式运行并可根据需要随时恢复至磁盘内。

甲骨文公司目前的Hierarchical Storage Manager正是基于SAM-QFS。

Versity公司为自筹资金所建立,并在其后的两年中一直以节俭与延迟结款方式进行运作,直到2013年7月获得来自克雷公司的A轮资助。克雷公司为其高性能计算市场上的一家分销合作伙伴。2014年4月,Versity存储管理器(简称VSM)软件产品正式发布。

该软件已经拥有10到20家客户,其中包括利用其管理250 PB数据的Ovation Data公司。另外,去年Versity公司签下了一份总额达100万美元的订单。

Gilpin在采访时指出,VSM是一款开源软件,用户以订阅方式加以使用。具体来讲,VSM属于专有开源产品,其以合法方式使用SAM-QFS源代码,并由Versity方面基于CDDL进行授权。

其架构特性包括:

专门构建的归档文件系统提供业界领先的性能表现。

基于策略的数据管理应用提供自动化存储分层,从而实现持续存储优化效果。

基于开源SAM-QFS的技术方案目前已经在为全球范围内的数百座客户站点服务。

写入为open tar文件格式以降低供应商依赖性。

存储初创企业Versity公司提供S3对象存储接口

  软件的运行速度据称亦相当出色:

Tunable系统参数调整可面向任意应用、网络类型或者存储技术起效。

以接近存储硬件原始速度的水平实现文件归档移动。

元数据可进行拆分存储以提升吞吐能力,或者根据环境内事务处理情况进行穿插存储。

可变DAU(即磁盘分配单元)机制拥有出色的大型与小型文件处理性能,且可调整以支持多种不同工作负载。

VSM并非对象存储方案,亦不属于并行文件系统。具体来讲,这是一套适用于那些不希望面向对象API进行写入,但又需要保留自身现有POSIX接口的企业客户的归档存储方案。

发展

Versity公司正着手为其后端存储发布S3接口,旨在将其作为公有云或者内部S3所能使用的对象存储机制。目前已经有一家客户选择这种使用方式,Gilpin表示其"硬件供应商正是内部对象存储厂商之一。"

为什么Versity公司要支持对象接口?该公司给出的答案是,"因为Web规模数据中心虽然已经建立起对象存储体系,但其余企业仍然在使用POSIX,而且二者之间无法往来迁移。"

Versity公司还在着手添加一套二级对象存储接口,旨在利用较S3更快速也更简单的方式将VSM与内部对象存储体系加以结合。根据我们掌握的情况,由此构建的系统在使用成本上仅为Amazon S3存储的三分之一。

我们猜测其后端对象存储供应商很可能是Cloudian公司。

多线程

多个文件被打包为单一TAR文件,即所谓流量重塑机制,其随后作为单一条目被写入至归档备份存储内。此TAR文件的大小可通过策略进行设置。

VSM随后会使用运行在一个或者多个处理器核心上的线程进行多线程IO。该软件的部分开发人员来自Lustre公司,且对并行文件系统拥有深刻理解。Gilpin就速度水平给出说明,表示VSM在使用5000美元戴尔服务器(配备双10 GbitE网卡)的情况下能够实现每秒1.8 GB的后端存储写入速度。其读取速度则为每秒2.1 GB。

这一水平与DataCore所使用的Parallel Server技术基本类似。

Gilpin指出,VSM的速度水平高于Avere文件管理器、对象存储与云访问加速产品。

向外扩展文件系统

Versity公司正在着手开发一套向外扩展POSIX文件系统,其可应对高达1万亿个文件。这套方案将匹配对象存储系统,而且已经拥有8个月的过往开发周期。该公司希望在今年10月推出这套文件系统的alpha演示版本。

这将是一套对等系统,其中不存在主节点,同时采用字节范围锁定与B树数据结构。

Gilpin指出,其专门针对归档需求所设计,而对字节范围内的POSIX加以忽略,意味着默认情况下不存在文件锁定。如果出现可能将其速度拖慢至NFS水平的资源竞争情况,元数据会得到优先处理。

而这将成为Versity公司的下一代产品。

Gilpin同时指出,Versity公司正在考量如何更好地从Lustre系统中提取文件,甚至直接支持Lustre文件格式。

竞争关系与评论意见

其竞争对手包括IBM(LTFS LE、TSM与HPSS)、甲骨文(SAM-QFS、甲骨文HSM)、SGI(DSM)以及昆腾(StorNext)。他表示,昆腾可能是其最为强劲的竞争对手,当然IBM与甲骨文则拥有更强大的销售渠道与客户基础。

SpectraLogic据称已经成为Versity公司的一位合作伙伴。

在我们看来,业务规模有限与来自克雷的投资并不能说明什么;必须承认,这是一家严肃的厂商,其拥有出色的归档方案,而且VSM的多线程速度也的确令人印象深刻。

其向外扩展发展思路也解决了各对象存储厂商在构建文件系统时始终存在的扩展能力有限这一问题。S3后端接口将使得VSM成为一套面向面向POSIX应用用户的对象存储网关,其它后续对象存储API的推出也将进一步强化这种能力。另外,向外扩展文件系统的开发显得颇具潜力,因此我们将期待着这家年轻的企业在4个月后会交出怎样一份实际答卷。

本文转自d1net(转载)

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
相关文章
|
5月前
|
存储 监控 文件存储
存储之外,还有什么?云计算对象存储服务OSS深度洞察
存储之外,还有什么?云计算对象存储服务OSS深度洞察
266 0
|
9月前
|
存储 数据管理 数据处理
阿里云对象存储OSS价格_云存储服务_企业数据管理_存储
阿里云对象存储OSS价格_云存储服务_企业数据管理_存储,阿里云对象存储OSS收费有两种计费模式,即包年包月和按量付费,包年包月是指购买存储包、流量包来抵扣OSS产生的存储费核流量费,OSS标准(LRS)存储包100GB优惠价33元、500GB存储包半年162元、OSS存储包40GB一年9元,OSS流量包100G 49元/月
473 0
|
3月前
|
存储 Java 对象存储
springboot配置阿里云OSS存储实现文件上传下载功能
【1月更文挑战第1天】springboot配置阿里云OSS存储实现文件上传下载功能
532 2
|
25天前
|
存储 安全 数据安全/隐私保护
oss数据加密与存储
阿里云OSS提供多种数据加密(SSE-S3, SSE-KMS, SSE-C, CSE-KMS)与存储安全措施,包括服务器和客户端加密、数据在磁盘上加密存储、多重冗余备份、访问控制列表和HTTPS安全传输。KMS支持密钥管理,确保数据静态和传输时的安全。严格的访问策略和身份验证保护资源免受未授权访问,满足高安全性和合规性需求。
35 3
|
3月前
|
存储 对象存储 Python
Python中使用阿里云OSS存储实现文件上传和下载功能
Python中使用阿里云OSS存储实现文件上传和下载功能
416 2
|
4月前
|
存储 对象存储 数据安全/隐私保护
这个错误提示表明你没有权限列出OSS的存储桶
这个错误提示表明你没有权限列出OSS的存储桶
76 1
|
4月前
|
关系型数据库 MySQL 对象存储
FlinkSQL写入对象存储S3报错"Use persist() to create a persistent"
FlinkSQL写入对象存储S3报错"java.util.concurrent.ExecutionException: java.lang.UnsupportedOperationException: S3RecoverableFsDataOutputStream cannot sync state to S3. Use persist() to create a persistent recoverable intermediate point."
274 1
|
6月前
|
C# 对象存储
.net core 阿里云接口之将指定的OSS文件下载到流
紧接上文,[.net core 阿里云接口之获取临时访问凭证](https://developer.aliyun.com/article/1363447?spm=a2c6h.13262185.profile.8.180876540j71A9 ".net core 阿里云接口之获取临时访问凭证") 本文继续阿里云接口调用,将指定的OSS文件下载到流。 直接上代码: ```csharp /// <summary> /// 将指定的OSS文件下载到流 /// </summary> /// <param name="args"></param> /// <returns></returns> [H
126 0
|
7月前
|
存储 弹性计算 开发工具
云存储Clouder认证:基于存储产品快速搭建网盘—课时7:基于对象存储OSS快速搭建网盘
云存储Clouder认证:基于存储产品快速搭建网盘—课时7:基于对象存储OSS快速搭建网盘
212 0
|
7月前
|
存储 数据可视化 Go
云存储Clouder认证:基于存储产品快速搭建网盘—课时6:对象存储OSS入门
云存储Clouder认证:基于存储产品快速搭建网盘—课时6:对象存储OSS入门
163 0