智能存储大道之行

简介:

近年来,全球企业级存储市场风云变幻,以软件定义、超融合、闪存为代表的创新存储领域呈现着明显高速增长的趋势。IDC有公开数据表明,中国企业级存储一直处于快速增长的状态,其中创新存储起到了非常好的促进作用。

来自IDC发布的中国企业级存储市场跟踪报告(2016年第四季度)预计,未来5年中国企业级存储市场仍将保持8.2%的年复合增长率,远高于全球-0.4%的年复合增长率。

 

可见,中国企业级存储整体市场已经呈现出了良好的发展势头,从而也将带动国产创新存储厂商的长远发展。

来自大道云行(TaoCloud)创始人刘爱贵博士分析指出,未来3年,关于中国企业级存储的发展,有着三大趋势值得大家关注:一是国产化存储,二是分布式全闪存储,三是智能存储。

存储国产化如何顺势崛起?

诸多因素表明中国的存储产业已经步入了创新存储厂商百家争鸣的时期。

随着中国针对信息技术本地化研发、制造、销售的日益广泛,国产化存储早已呈现出来国策、技术、生态三个重要的发展“窗口”。

在这三大发展窗口下,“自主可控、安全可信、高效可用”已成为用户的信息系统规划和建设的战略目标,并且作为信息系统整体安全的重要组成部分,信息存储系统的安全要求也被提升到了全新的高度。那么自主可控给国产存储厂商带来了哪些新的市场机会和潜力呢?

与此同时,软件定义存储以前所未有的变革力量,推动着创新存储公司加速前行。 国内企业级存储公司围绕SDS,不断专注存储软件的开发及优化,以期实现弯道超车。

当然,软件定义不只是给了中国存储公司一个发展机会,也是全球数据中心发展的大趋势和新的起跑点。存储国产化依托软件定义的趋势,不仅有着实在的技术生态,同时用户在这个方面的市场需求潜力也值得深挖。

既然提及了软件定义的技术生态,这里也不得不再次提一下存储国产化的发展生态,目前国产化CPU、芯片、整机、BIOS、OS已具备成熟的商用条件,国产化数据库、中间件已在大量使用。因此,在底层IT基础和上层实际应用都已相对成熟的情况下,国产化存储的发展可谓适逢其时。

不过,针对国产化存储的发展,刘爱贵博士分析认为一套高效适用的国产化存储应具备七大特征,包括了完全国产、国产标准、智能控制、系统加固、安全可信、高效存储、应用感知。因此,一套国产化存储的核心标准,在于必须支持各类国产化操作系统、虚拟化系统等软件,同时支持各类加固机型、宽温SSD、支持SSD自毁等特性,针对安全性上有着严格的要求,支持存储加密、三员分立、操作回溯、行为审计等功能。

这一切,都源自中国用户对于存储的实际需求,也是中国存储市场现阶段发展的重要趋势之一。

全闪存储怎样实现分布式创新?

不过,有一点需要强调一下:中国用户对于闪存的关注由来已久,但是对于全闪存存储的应用却始终落后于北美等国外市场。分析原因,除了全闪存存储价格高昂之外,最大的应用瓶颈在于中国用户对于全闪存存储的分布式部署有着明显的需求。

随着闪存技术的提高和NAND制造工艺的进一步优化,加上NAND中国本土制造力量的逐渐成长起来,这将对国产化全闪存储的发展带来很好促进。

并且全闪存的市场潜力还是值得关注的,来自IDC预测,随着各行业客户对全闪存产品认知的加深,未来5年中国全闪存市场年复合增长率将达到40.3%。

当然,全闪存不只是SSD的堆叠,还需要从根本上去解决中国用户应用全闪存的痛点。高性能、高可用、高扩展、易管理,这些存储需求无法通过传统烟囱式模式以及简单的Scale-up纵向扩展来很好地解决。从全闪阵列到分布式,从分布式到全闪,这是殊途同归的,终极目标是分布式全闪系统,兼取闪存和分布式的长板,根本上解决云计算、大数据、人工智能等应用场景下面临的存储新挑战。

从传统存储到闪存存储,解决用户最大的需求问题就是分布式,如何实现更好的分布式全闪存储,这对于多个行业的创新应用都非常重要。

从技术发展趋势来看,SSD普及度越来越高,自主可控也包含了国产SSD标准的出台,分布式存储标准也呼之欲出。但是,如何将SSD价值最大化发挥出来,分布式的融入值得研究,也符合存储业界的技术发展方向。

此外,在特种行业里的应用中,对防震、能耗、宽温、故障可预测性、数据安全方面的苛刻要求上,SSD比HDD的应用上更适合也更有价值。

可见,市场需求所趋,用户需求必然催化全闪存储分布式的快速创新,这是中国存储市场现阶段发展的创新趋势之一。只是在这个领域,国内尝试的厂商为数不多,其市场价值和潜力就更值得考量。

软件定义智能存储为何与众不同?

当前,AI重构行业、产业成为了Gartner2018年十大战略技术趋势之首。那么,对于国内企业级存储的发展来说,如何加持AI呢?这也成为了国内企业级存储三大创新趋势之一。

业内认可包括Server SAN、存储虚拟化、超融合架构(HCI)等都属于SDS(软件定义存储)的一部分。那么,如何来定义SDS下的智能存储呢?

从智能存储潮流演变的大趋势来说,中国企业级存储的产业发展:一维的传统企业级存储,二维的软件定义存储,三维的软件定义的智能存储。一维世界正在推倒重建,比如EMC戴尔收购,HDS转型到专注物联网与大数据的Hitachi Vantara,NetApp被多次传言将被Cisco收购。二维世界被划分完毕,包括业内熟悉的存储虚拟化如DataCore 等,以及Server SAN领域的VMware vSAN等,超融合架构(HCI)领域的Nutanix等。三维世界的软件定义智能存储正在形成,高维挑战低维总有优势,降维打击几乎是必胜的。

对此,业内专家有指出,软件定义存储本身包含了易扩展、应用驱动、自动化等特点,只是没有在智能上更进一步。

特别是存储历经了多年的发展之后,从传统存储到现在应用越来越广泛的分布式存储,在云计算大行其道的环境下,企业用户需要更为灵活弹性、高效可靠的存储系统,要求存储厂商提供的产品或技术方案越来越智能、自动化、应用感知,并具备强大的自愈能力。这一切,都在迫使国产存储厂商必须走向软件定义智能存储的创新之路。

不过,在刘爱贵博士看来,软件定义智能存储需要具备三大元素:安全、性能和应用感知。

一是,智能存储之所以智能,在于针对安全方面有着主动防御的特性。智能存储构建安全防御模型,动态甄别非法的I/O访问模式,主动采取策略应对恶意攻击、误操作、异常行为等,保证数据安全性和可用性。其中还包括了针对加密的安全算法,以及容错机制、保护机制。值得探讨的一个创新方向就是区块链技术,区块链针对数据访问安全认证,对于用户误删除之后,也可以实现拷贝数据的恢复,这个方面的技术融入到智能存储的安全特性上,将有着非常特别的现实意义。

二是,针对智能存储的性能最大化发挥的方面,需要充分发挥新型硬件介质的性能,从而获得智能存储的整体性能最大价值。同样,智能存储构建性能自学习和控制模型,动态监测硬件性能数据变化和模式学习,自动适应硬件环境变化并进行自动智能控制调节,变被动静态性能优化为主动动态性能优化,包括 精细QoS控制、数据预测和预取、故障预防和调度等。人工智能技术跨界引入存储领域,将极大增加存储智能化,最大化硬件性能发挥,简化存储系统管理复杂性。

三是,需要强调智能存储的应用感知。通用存储不关心上层应用领域知识,存储策略采用折中方式满足各种应用负载,达不到配置最优化。智能存储构建行业应用特征模型,动态学习并匹配应用负载模式,自动调节存储策略适应不同应用场景,做到真正的智能应用感知存储。其中需要通过智能调度算法的方法,采用机器学习、深度学习等主动访问模式,自适应去调整用户的存储使用状态,包括借助用户故障模型做预判和预测提示,从而发挥出智能存储在应用感知方面的真正作用。

立足三大趋势怎么站稳脚跟?

针对国内企业级存储存在的这三大趋势,TaoCloud基于国产化平台的支持,积极参与国产化标准制定、预研项目,并进一步深耕多个行业。同时,针对行业的特殊应用场景,针对特种行业的特别需求,个性化地实行产品构建与集成。

针对国产化分布式存储标准等制定方面,用户需要一套可行的标准来衡量国产化存储的价值,TaoCloud借助自身的技术积累和应用实践,不断参与并配合国家相关部门的存储标准制定,通过统一的标准推动国产化存储市场整体的发展。

针对国产化存储与国产化软件的配套方面,TaoCloud认为未来不仅是OS适配对接,也会加强对审计、加密等方面的国产化技术研究研发。

目前,在存储国产化领域,TaoCloud取得了显著进展。不仅重点推出了国产化分布式存储SSAN Guard/XDFS Guard,而且已成为多家企业、科研单位在国产化存储领域的重要合作伙伴。同时在2017国防展中,与合作伙伴联合展出的国产化存储及应用方案受到广泛关注。另外,SDS产品在多个国产化试点项目中投入使用,包括政府等重要领域。

同时在完全以国产化生态构建的创新产品,致力于“自主可控、安全可信、高效可用”的战略目标。

另外针对分布式全闪存储方面,TaoCloud正在做进一步的测试与研发,并希望在这个领域立足自身分布式领域的技术积累,然后有所新的突破。

与此同时,TaoCloud已经将软件定义智能存储作为了公司的核心发展方向。云及大数据背景下,数据管理的复杂度和数据应用的效率不断提升,存储智能化的需求也相应与日俱增,如基于AI的存储自优化、应用感知、面向全闪的性能增强、数据存储与数据治理的深度融合、基于区块链技术的可信存储等。

TaoCloud认为目前的SDS存储智能化程度还有待加强,在创业2.0阶段,将把存储智能化作为战略核心,定义和打造真正的智能存储产品和解决方案。

基于对智能存储发展趋势的分析与长期观察,在2017上半年,TaoCloud已经推出了智能存储计算系统,希望以更高效的I/O优化与算法,带来存储系统更多的价值。与此同时,联合红帽Redhat,借助红帽面向大数据和云计算领域的分布式文件系统Gluster企业版,结合TaoCloud技术团队多年在Gluster方面积累的系统理论及实践经验,推出了XDFS-Pro分布式文件存储

竞争加剧要怎么突出自己的优势?

全球SDS相关厂商不下60家,国内SDS相关厂商不下30家,加上中国存储市场整体持续呈现上升势头,这就加剧了中国企业级存储市场的竞争。作为后起之秀的TaoCloud,如何在复杂的行业与市场环境下获得自己的发展位置?

显然价格战必定不适合“有一技之长”的创新存储公司,必然需要在标杆用户的典型应用上下文章,与友商形成在技术、产品、方案和服务方面的差异化,以此来突出自己的独特优势。这样的思路似乎更符合当下的TaoCloud。

对于成立于2015年的TaoCloud,目前已经拥有了一支由GlusterFS分布式存储文件系统研究和开发的知名专家组建的技术团队。目前TaoCloud十分强调智能存储的价值,并且在为用户提供高效、智能的软件定义存储产品和解决方案方面已经有了自己初步的建树,并在政府、广电、航空航天、医疗、媒体、教育等行业有了深入的成功应用。

2016年TaoCloud获得了首次数千万元融资,成为高新技术企业、获得“双软认证”,拥有数10项产品软件著作权,同时公司也是工信部旗下中国开源云联盟(COSCL)的成员单位,成功入围中国大数据百强榜。

这也是TaoCloud倾力打造行业应用标杆,在软件定义智能存储上践行差异化战略的结果。

值得一提的是,TaoCloud助力广电行业标杆客户CNTV央视网,成功构建了一个PB级的SDS 解决方案。

媒体融合发展,不仅是一项重要的国家战略任务,更是传统媒体在移动互联网大潮下进行自我革命和转型的必然选择。作为中央电视台旗下的国家网络广播电视播出机构,中国网络电视台(英文简称CNTV)正在建设我国规模最大的网络视频节目数据库及全球化多语种多终端的内容分发体系,实现将最好的内容传播给最多用户的平台价值与目标。

CNTV旗下互联网站业务央视网(英文简称CCTV.COM)拥有中国最大的网络视频新闻数据库,作为中央电视台的官方网站,汇聚了100多个CCTV新闻名栏,同时还集纳了50个地方卫视新闻名栏,此外,央视网还拥有覆盖全国的新媒体记者网络和新闻拍客队伍,24小时不间断地提供最快捷、最权威、最全面、最丰富的新闻视听与互动服务。

近年来,CNTV一直积极探索和实践媒体融合发展之道,近日,CNTV第二批媒体融合云项目正式开启,该项目作为媒体融合的底层支撑系统,包含私有云平台、云存储、微服务三大组件。该项目将支撑媒体融合项目产品的开发,推进媒体向商业化发展进程,并加快传统媒体向新媒体转型速度。

如何构建弹性高效、可靠易用的云存储系统,保障互联网+和媒体融合背景下海量图文、音视频素材的采集、制作、加工、分发、媒资管理工作的顺畅开展,支持媒体融合产品和业务的快速上线和敏捷创新,并有效降低总体成本,是CNTV重点关注的问题。经过长达一年的严格调研、论证、测试和试运行,CNTV最终选择国内领先的软件定义存储厂商大道云行(TaoCloud)作为其云存储合作伙伴,利用TaoCloud创新的软件定义存储(SDS)产品,构建面向媒体融合云的海量分布式存储系统。

通过在数百台X86服务器上部署TaoCloud SDS存储软件,CNTV构建了海量(PB级)、弹性、可靠、高效的分布式存储系统,完整实现各类数据的存储及管理,全面支撑媒体融合云各类IT应用,包括海量文件存储、数据库、容器及虚拟化、私有云等。基于TaoCloud SDS的云存储架构,可全面满足CNTV媒体融合云各类存储需求,支持各类网络视听业务的快速开展和敏捷创新。

通过云存储、私有云、微服务三大组件的构建和有机融合,CNTV媒体融合云已经形成了可按需调度、灵活缩放的IT资源及服务基础架构,实现弹性分布式计算、海量存储空间和广泛覆盖的内容分发网络,有力保障产品开发和业务应用的高效及稳定。随着媒体融合创新发展的不断深入和大数据、云计算、人工智能技术的快速演进,CNTV将在技术、内容、融合创新等领域进行更为积极和深入的探索及实践,引领中国媒体融合变革之道。作为CNTV的重要合作伙伴,TaoCloud将融合媒体应用,持续深入研发,助力并加速媒体融合云。

另外还有一个标杆行业应用值得一提就是航天科工集团某所采用TaoCloud的SDS方案,实现了基于SDS的虚拟化架构,不仅帮助其节省机房空间,同时也获得了高可用的数据与存储应用。

对于航天科工集团某所来说,如何在有限的机房空间内获得数据高可用和存储高可用,显得非常迫切。其中软件定义存储充分发挥其高密度优势,借助SSD迅速优化提升性能,对其起到立竿见影的作用。 在存储节点内,利用SSD智能加速,减少了HDD磁盘的占有空间。存储系统高效运行不在话下,同时整体业务连续性得到了很好的保障,在分布式架构下,系统灵活扩展也进一步提升了航天科工集团某所的IT资源交付效率,新业务上线时间也获得明显改善。

此外,不仅航天科工集团和CNTV,包括新华社等在内的来自媒体、教育、政府、广电等多个行业的用户都已经在采用TaoCloud的产品和解决方案,解决虚拟化、私有云、数据库(特别是国产数据库)、备份数据库、海量非结构化文件管理领域的存储问题。

小结:从趋势到应用,实干才能成就梦想

从国内企业级存储三大趋势国产化存储、分布式全闪存储与软件定义智能存储来看,大势所趋,自然带来了国内存储厂商不断寻求弯道超车的新机遇。

但是,对于任何一个国产企业级存储厂商来说,与国外成熟存储厂商对比,因为发展时间较短,有时候会迫不及待的想要得到努力的回报。可是回报往往没有想象那么来得快。这该如何办呢?

从趋势到应用,只有实干才能成就梦想。成立于2015年的大道云行(TaoCloud),因为创始团队成员分别来自大型专业存储企业以及互联网企业,从骨子里面就理解实干的意义和价值。从技术研发到测试到用户部署应用再到日常技术支持与服务,这一切都离不开实干之道。

从而成立两年左右,特别是在2017年至今,陆续推出了纯国产化分布式存储、超融合系统、软件定义数据中心基础架构解决方案、软件定义智能存储及数据管理咨询服务等系列技术、产品、方案与服务,并在广电、航天等重要行业领域构建了成功的应用标杆,未来的发展潜力值得业界关注。

特别是在2017年8月正式确立软件定义智能存储的公司新战略后,TaoCloud的发展之路不仅更专了,而且更宽了,同时也更贴近用户最直接的创新需求了。如果说只有实干才能成就梦想,那么也只有贴近用户需求才能保持梦想。因为,这一切的基础都源自用户。(Aming)


原文发布时间为:2017年10月19日

本文作者:Aming 

本文来自云栖社区合作伙伴“至顶网”,了解相关信息可以关注。

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
4月前
|
存储 人工智能 文件存储
云栖速递,面向大规模数据智能的阿里云存储创新
云栖速递:面向大规模数据智能的阿里云存储创新
665 2
云栖速递,面向大规模数据智能的阿里云存储创新
|
11月前
|
数据采集 监控 安全
每日互动联合绍兴高速交警、温州高速交警和浙江高信发布“高速障碍物预警系统”
每日互动和绍兴高速交警、温州高速交警和浙江高信技术股份有限公司(“浙江高信”)联合发布了高速障碍物预警系统,基于数据智能,以低成本、高效率、智慧化的方式,护航高速交通的畅通与安全。
93 0
每日互动联合绍兴高速交警、温州高速交警和浙江高信发布“高速障碍物预警系统”
《驾驭时空中国⾸辆⾃动驾驶低速电动⻋发布》电子版地址
驾驭时空中国⾸辆⾃动驾驶低速电动⻋发布
40 0
《驾驭时空中国⾸辆⾃动驾驶低速电动⻋发布》电子版地址
|
算法 云计算
基于AIE的贵阳市冷热岛分析
基于AIE,利用*landsat 8*数据,进行地表温度反演,从而对贵阳市冷热岛效应进行分析。
基于AIE的贵阳市冷热岛分析
全景空间唐海鹰:成果转化难在于与市场、产业资本脱节|双创载体百人谈
1.为了在孵企业在投融资上不受地域限制,全景空间在2018年上线了全景产融智能投融服务平台。 2.目前,平台已拥有2000+精选项目、100+认证投资机构、10000+认证投资人、100+创业导师。此外,全景空间举办了200多期线上线下路演活动,已为50多家企业和项目方提供深度路演综合服务,募资总额合计超12亿元。
253 0
全景空间唐海鹰:成果转化难在于与市场、产业资本脱节|双创载体百人谈
|
数据采集 供应链 数据可视化
阿里云IoT最佳实践|上海绿立方数字化蔬菜工场
随着数字时代进程不断加快,种菜也可以智能化。
365 0
阿里云IoT最佳实践|上海绿立方数字化蔬菜工场
|
存储 分布式计算 监控
前沿分享|上海市新能源汽车数据平台 王成名: 车联网全景监控数据时空超融合数据库方案
本篇内容为2021云栖大会-企业级云原生数据库最佳实践论坛中,上海市新能源汽车数据平台 王成名关于“车联网全景监控数据时空超融合数据库方案”的分享。
691 0
前沿分享|上海市新能源汽车数据平台 王成名:  车联网全景监控数据时空超融合数据库方案
|
供应链 算法 数据可视化
2020双11数据大屏设计:全球数据博物馆
如果说以往的双11数据大屏展现的是一场大型财经盛典,那今年可是融入了新元素:数据脱口秀。因为我们相信,双11既是件国计民生的大事,也是每个人的事。这一点与以往任何一届双11媒体中心晚会都不同,脱口秀作为一种新兴的艺术化形式,让数据与每个人都产生连接。
8581 0
2020双11数据大屏设计:全球数据博物馆