存储能够聪明到什么地步?

简介:
 
  和从前对于应用几乎是瞎子的数据块存储相比,今天的数据感知存储产品直接就能从内部追踪存储操作相关的全部新型元数据。今天的存储可能天生就知道哪个应用程序在创建、拥有和访问存储数据的每个数据块;这些数据需要什么级别的安全和保护;应如何实现应用程序I/O性能(通过缓存、分层规划等等)和容量成本(各种压缩和重复数据消除措施)之间的最佳平衡;甚至会知道哪些用户在访问、共享和、或者可能很快再次请求哪一个比特的数据。存储平台可能还会在内部索引文本数据、分析存储内数据的法规遵从性(或安全漏洞)、自动翻译外国文字、转码数据内嵌的媒体,甚至主动学习不同分类的数据内容。

Qumulo也为前线运行的产品支持提供一套Call Home服务,但它真正的亮点是,他们的存储会追踪数据真实存储过程的性能指标。基于其分布式的体系结构,Qumulo可以为存储的每个文件和对象高效地报告历史性能和其他关键指标,这有助于迅速捕获新的使用模式、行为异常和性能影响热点,即使是数十亿的对象规模也能轻松管理。

Data Gravity在其常规的备份控制器内嵌入了一套搜索引擎,为阵列内存储的所有数据建立索引,已经成功用于数据的监管和电子发现场景。同时,Reduxio提供几乎无限的版本控制和按需快照,通过保存有关每个数据块最后修改时间的元数据,存储允许回滚到过去的任意一秒——可以视为一个细粒度的企业数据块存储时间机器,能有效抵御恶意病毒对数据的破坏。

融合处理

存储和服务器在很多场景下会融合成为紧密合作的整体。融合的目的在于规避昂贵和龟速的远程数据访问,确保计算过程尽可能地贴近需要处理的数据。这至少是Hadoop分布式文件系统大数据存储和VMware的虚拟化平台集成的vSAN存储的主要原理。类似Nutanix和Simplivity的完整超融合平台会将软件定义的存储系统紧密融入优化的数据处理装置,可以利用运行在应用服务器资源上的内置分析驱动算法获得更大的优化。Datrium的“开放融合”机制会区分处理性能和容量优化、持续执行计算密集型存储的优化分析,发现每台服务器主机内消耗闪存的存储热点,同时通过网络共享冷容量来实现数据容灾保护。

所有这些架构虽然实现了更优化的融合,但在存储和客户端应用程序之间仍然会保持传统的I/O传输方式。容器化和微服务技术已经开始实现计算节和数据存储的分离,催生 新的(无服务器计算)方法,可以直接对通过的数据流进行处理。尽管最近亚马逊的lambda云计算服务又成为热门,实际上lambda体系结构在很久以前就存在了,那就是在许多已部署的企业数据库中能见到的“存储过程”,直接在数据库内部(而不是在应用程序代码内部)执行由事件触发的简短的远程代码。然而,在存储层面支持容器化插件的新型存储产品打开了无限的可能,可以实现新一代的高效、可扩展的、实时的分析和优化。一些存储供应商正在研发的支持容器化应用程序的新型存储产品,甚至很多存储产品自身就是用容器应用程序代码编写而成。例如,新兴的开源对象存储Minio由于采用了现代的容器架构,很容易实现极高的扩展性和原生lambda计算功能。Minio对象存储可以包含嵌入的lambda功能,实现搜索、内存缓存、消息流、模式识别、内容转换,以及能直接在数据存储层中高效运行的其它功能。

全面的云管理

分析功能会让IT运维更强、更快、更智能。我坚信,我们会看到,在贴近数据存储位置的存储层,以及在云内实现的由许多存储系统的元数据组成的大规模聚合(如同Call home服务模式),这些地方会有越来越多的存储分析功能出现。

选择一家基于云的服务提供商来全面管理和运营本地或混合基础设施,就可以将不同的存储世界在管理即服务(MaaS)产品的层面实现统一。例如,利用HyperGrid(之前的Gridstore)首创的一套平台服务,你能(按需)订阅和租用原本需要自己整套采购的集中化的超融合设备混合云群集。同样,Galactic Exchange能以服务的方式远程操作和管理你的大数据平台,而实际的计算和数据节点集群可以同时分布在内部或云端。

MaaS存储的典型例子Igneous会在客户现场提供可订阅的对象存储,而这些存储实际上以管理即服务的方式进行远程操作管理。这种模式有助于IT存储团队领悟云计算与众不同的市场游戏规则,服务在云端,而数据的实际存储位置仍然在本地数据中心。由于MaaS供应商能积累和运用大量的操作分析经验,在面对以数据为中心的智能化目标时,使用API直接调用云端服务(例如lambda计算或机器学习)来扩展MaaS存储平台,将会成为新的机遇。

数据将存到何处?

我们已经无法回避以云为中心的IT世界。我们所有人将来都必须管理跨越单设备、数据中心和全球云托管的混合存储。随着数据的继续增长和传播,我们所有的分析和智能处理能力规模也必须同步增长。

在未来的几年中,我们将看到由新的物联网数据源浪潮引发的数据大爆炸。如果没有来自更智能的存储产品和基于云计算的专业管理服务的大量支持,大多数IT组织将无法生存。

 
作者:Mike Matchett
来源:51CTO
目录
相关文章
|
存储 编译器 Linux
C生万物 | 窥探数组设计的种种陷阱
数组在设计的时候为何会出现那么多纰漏?数组越界是如何导致的?,我们来一探究竟🔍
52 0
C生万物 | 窥探数组设计的种种陷阱
|
存储 缓存 负载均衡
10大高性能开发宝石,我要消灭一半程序员!
10大高性能开发宝石,我要消灭一半程序员!
130 0
10大高性能开发宝石,我要消灭一半程序员!
|
缓存 算法 双11
贼,夜入豪宅,可偷之物甚多,而负重能力有限,偷哪些才更加不枉此行?
贼,夜入豪宅,可偷之物甚多,而负重能力有限,偷哪些才更加不枉此行?
|
存储 机器学习/深度学习 人工智能
用技术解决看似不可能的事
当前,反诈已经成为了一项全民参与的行动。在支付宝,人们给疑似诈骗账号转账时,就会在输入账号的0.1秒内接到一个电话,提醒你正在遭遇诈骗。迅速识别风险阻止诈骗发生,这背后,图计算技术发挥了至关重要的作用。
160 0
用技术解决看似不可能的事
|
设计模式 算法 架构师
狂补计算机基础知识,让我上了瘾,想要尽快和同龄人拉开差距,必须这么干,才有戏!!!!
狂补计算机基础知识,让我上了瘾,想要尽快和同龄人拉开差距,必须这么干,才有戏!!!!
142 0
|
存储 人工智能 安全
剑桥大学把达尔文笔记本原稿给弄丢了,包括著名的“生命之树”,价值超百万
剑桥大学把达尔文笔记本原稿给弄丢了,包括著名的“生命之树”,价值超百万
145 0
还在担心工作要被取代?现实却是机器人已经开始被开除了
短时间内,所谓的“机器人酒店”都是噱头。
324 0
|
前端开发 程序员
不管你信不信,这就是程序员996的真实内幕!
7月,越来越热的天气 ,似乎让每一个码农内心越来越烦躁,因为996的加班让他们无法享受夏日凉凉的夜啤。更别提落日的激动(落日意味着下班啦!) 一直很想深度剖析一下国内互联网996盛行的原因,总是借口忙、忙、忙而始终没有迈出第一步。
1711 0
|
算法 物联网 大数据
15个未来高科技产品会让你无法想象!这些开脑洞的设计太牛了!
从衣食住行到生活的方方面面,未来必将会有天翻地覆的变化。大数据、云计算、物联网和人工智能这些年的发展,让我们对并不遥远的未来有了更多想象和期待。那些我们现阶段不可企及的所思所想,将在未来成为大部分人的日常。
5176 0

相关实验场景

更多