从科幻灵感开始的一场数据存储基础设施实验之旅

本文涉及的产品
简介:
  在过去的这个假期里,我深深地体会到了经典科幻电影迷们的那种情感,尤其是当我准备将各种各样无记录的部件组装成一台复杂的存储系统的时候,这种情感从未如此强烈。在那段时间,我就是彻头彻尾的Dr. Cal Meacham(出自1955年上映的经典科幻电影This Island Earth),但是我却没有“Metalunan”(同样出自该电影的角色)来帮我做记录工作。抛开做一些“排序”工作或者其他一些电影中提到的工作不谈,我也不是很确定我的这项发明能够用来存储数据。但不管怎样,我在这个项目中时刻保持着激情。

从科幻灵感开始的一场数据存储基础设施实验之旅

背景故事

我的测试环境包括两台互为集群的DataCore SANsymphony服务器,其实它早就变成了一台连接各种设备并用于各种测试的外部存储——从USB到eSATA以及Fibre Channel(FC)。每块StarTech.com eSATA板子都达到了它们的极限,它们的硬盘通过DataCore经过虚拟化处理后被放到了存储池中,并平均分给了那两台服务器。通过复制功能,保证两边硬盘上的数据始终是一致的。随着2016年的研究项目进入尾声,我认为是时候去重新考虑下数据存储的架构了,让这堆零散的东西变得更有意义,在新的一年发挥更大的作用。

在这个假期里,一个朋友跟我说他们的公司正准备淘汰一批Promise Technology的阵列——准确的说是3台——通过iSCSI、FC和SAS连接的。他表示如果我想到话,可以将这些阵列用在我的那台存储架构的服务器上,既能实现“垃圾回收”,又能升级我的系统。我确实很想要这批设备,所以在圣诞节的前几天,他开着拖车出现在了我的公寓门口。

当他迫不及待地卸下了那批货物并转身离开的时候,我知道我的生活将会随之改变。每台设备都很重,很显然里面包含了来自不同厂商的TB级和500GB的SATA硬盘,以至于让我、我的朋友以及我未成年女儿的男性朋友合力才能搬到我的办公室里。

“下周我会打电话给你询问下事情的进展,”我的那位朋友在离开的时候急匆匆地说。

卷1:搭建

几乎如他所预见的一样,像我这种智力有限的人是没法完成interocitor测试的。但就像处于科幻电影黄金时代的Meacham一样,我在最开始就预见到了这件事:我购买了3个坚固的架子并用来放置设备:分别为12,12和16台机柜。此前我从来没想到几百TB的数据会如此沉重。

目测来看,这些设备上没有iSCSI接口,但是却有两个FC和1个SAS。更为重要的是,每台机柜在开机之后都会产生巨大的噪音,整个办公室就像飞机库一样。

当决定了如何放置这些设备之后,我开始着手清理电源上的风扇,同时考虑如何为它们提供充足的电力和网络连接,为的就是把这一整套设备放在100英尺(加上两堵墙)的存储室内,和我工作的地方隔离开来。机柜和服务器之间的连接也是一个令人头疼的问题。

卷2:挑战

计划是这样的:将放在外置eSATA、USB以及iSCSI存储上的数据转移到通过新设备搭建的虚拟存储池中。为了实现这个计划,我需要将新阵列连接到服务器上,通过DataCore对其进行格式化并建池,然后将数据拷贝过去,这样之后才能将之前的设备全部淘汰掉。

这是我遇到的第一个挑战。我的服务器上没有多余的HBA插槽了,不管是FC还是SAS。从eBay的搜索结果来看,我需要为每块HBA提供一个PCIe x16的槽位。而我的服务器有两个插槽,一个用在了声卡上,另一个则用在了作为集群灾备的两端口的FC板卡上。eSATA需要一个PCIe x1插槽,还剩下一些看起来不错但是比较过时的32位PCI插槽。其实我可以从Association of Service以及Computer Dealers的供应商那里买到极为便宜的HBA卡,或者从eBay也可以,但前提是我得有多余的插槽。

长话短说,最大的设备居然是一块被某人出于某种原因翻新过的FC控制器。我之所以发现这件事,还是在新年过后和一位来自Promise Technology的技术支持的聊天中,我顺带脑补了这样一个场景:我摇着他的头问道:“你就不能从Promise买一块最新的VTrak吗?”

卷3:收尾

我需要进行很多测试来验证控制卡移植的可用性。但不管怎样,一块SAS和一块FC都被我丢下了。我也可以将FC控制器集成到SAS中,进而将它转换成一个FC设备。这也使得我可以将每台存储设备连接到服务器上的任何一个HBA的FC端口上。或者,我也可以买一台二手的Brocade FC交换机,从二手市场购买的话既可以便宜80刀,还能保证所有连线都是安装好的。

不管采用哪种办法,我的interocitor测试平台最后都搭建起来并开始运行了,而且在很短的时间里,所有的存储架构都将被进行虚拟化,所有那些4硬盘的小阵列进而都会被淘汰掉。好吧,也许是我下次需要更多活动空间的时候才会考虑将它们都扔掉。

下一步就是为整个平台部署一套Strongbox Technologies的Strong LINK软件,同时添加一套LTO-5或者更好的带库存储设备来运行Linear Tape File System。这样一来,那些极少被访问的数据就会被自动迁移到带库中了。

我花了不到几百美元的钱搭建了一套不错的存储架构,而且还可以定期对其进行扩展。这就是我所谓的特殊的圣诞假期。在此感谢Metalunans给我的启示。

*Interocitor,1955年科幻电影中的智力测试设备。

【编辑推荐】

 
 
  作者:Jon Toigo
来源:51CTO
相关实践学习
基于函数计算一键部署掌上游戏机
本场景介绍如何使用阿里云计算服务命令快速搭建一个掌上游戏机。
建立 Serverless 思维
本课程包括: Serverless 应用引擎的概念, 为开发者带来的实际价值, 以及让您了解常见的 Serverless 架构模式
目录
相关文章
|
8天前
|
数据采集 SQL 数据可视化
大数据可视化技巧:借助PowerBI提升数据故事讲述力
【4月更文挑战第8天】Power BI助力大数据可视化,支持多种数据源连接,如SQL Server、Excel,提供数据清洗与转换功能。通过选择合适图表类型、运用颜色和大小强化表达,创建交互式仪表板。讲述数据故事时,注重故事主线设计,利用叙事技巧引导观众,并添加文本说明。分享已完成报告,提升数据驱动决策能力。动手实践,体验Power BI的强大与易用。
25 0
|
8月前
|
编解码 iOS开发
一节微课诞生的全过程(无保留分享,望收藏)
本来是想以直播的方式把制作这节微课的过程分享出来,但考虑到大家的时间不统一,制作过程太长,这节微课录音之后制作动画就足足用了两天
127 0
|
11月前
|
数据采集 人工智能 自然语言处理
后GPT 3.0时代,主流大模型技术精要详解,走向AGI之路的大门已开(4)
后GPT 3.0时代,主流大模型技术精要详解,走向AGI之路的大门已开
351 0
|
11月前
|
自然语言处理 算法 测试技术
后GPT 3.0时代,主流大模型技术精要详解,走向AGI之路的大门已开(3)
后GPT 3.0时代,主流大模型技术精要详解,走向AGI之路的大门已开
192 0
|
11月前
|
机器学习/深度学习 存储 人工智能
后GPT 3.0时代,主流大模型技术精要详解,走向AGI之路的大门已开(1)
后GPT 3.0时代,主流大模型技术精要详解,走向AGI之路的大门已开
204 0
|
11月前
|
自然语言处理 异构计算
后GPT 3.0时代,主流大模型技术精要详解,走向AGI之路的大门已开(2)
后GPT 3.0时代,主流大模型技术精要详解,走向AGI之路的大门已开
246 0
漫画 | 新一代软件架构会影响到谁?
周末的晚上,张大胖照例要去 Hello World 咖啡馆,没想到在这里碰到了好几个老伙计。并针对事件总线展开了讨论。
97 0
漫画 | 新一代软件架构会影响到谁?
|
存储 SQL 算法
「推荐收藏!」【MySQL技术之旅】(3)「索引技术」体验前所未有的技术探险,看穿索引的本质和技术体系(上篇)
「推荐收藏!」【MySQL技术之旅】(3)「索引技术」体验前所未有的技术探险,看穿索引的本质和技术体系(上篇)
84 0
「推荐收藏!」【MySQL技术之旅】(3)「索引技术」体验前所未有的技术探险,看穿索引的本质和技术体系(上篇)
|
存储 缓存 运维
架构科普
  软件架构指软件系统的顶层结构;框架是面向编程或配置的半成品;组件是从技术维度上的复用;模块是从业务维度上职责的划分;系统是相互协同可运行的实体。   软件开发最本质的挑战有两个:复杂和变更,而软件的价值是保证业务的响应力,与之相对的是开发资源的有限,各种的软件开发方法论,也都是在研究有限的资源下,如何应对着两个挑战,寻找平衡点,实现业务目标。因为是在寻找平衡点,就说明是有取舍的,所以就没有所谓的银弹的存在。