“这是FAST上第一次有云计算公司分享如此大规模技术实现”

  1. 云栖社区>
  2. 博客>
  3. 正文

“这是FAST上第一次有云计算公司分享如此大规模技术实现”

阿里云头条 2018-03-17 09:39:38 浏览1229 评论0

摘要: 与CES之类热热闹闹的展会不同,FAST会议本身聚焦在存储行业,就连知乎上都几乎无人提及,正是这样,反倒让这个会上的干货满满。随着阿里巴巴在存储领域的技术深入,我们在云存储领域、大规模实践方面有了极大的突破,同时也需要得到同行们在软硬件一体、新介质方面的输入。

不不不,我们这次要聊的FAST既不是射电望远镜(Five-hundred-meter Aperture Spherical radioTelescope)也不是Fast Company(《快公司》杂志)。而是计算机存储行业的顶级学术会议——FAST(USENIXConference on File and Storage Technologies)
2018031701

与CES之类热热闹闹的展会不同,FAST会议本身聚焦在存储行业,就连知乎上都几乎无人提及,正是这样,反倒让这个会上的干货满满。

这个会通常在每年2月份在美国旧金山湾区各城市轮流举办,今年的FAST’18举办地是在湾区北部奥克兰,2月的奥克兰迎来了全球存储领域的专家、学者以及产业界人士。

当然,很多专家其实是从临近的山景城、西雅图过来,这很不“全球”。倒是我们的团队既有从杭州、北京也有西雅图、硅谷过去的,可见其实在此地我们却成了体现“全球”的最佳标签。

随着阿里巴巴在存储领域的技术深入,我们在云存储领域、大规模实践方面有了极大的突破,同时也需要得到同行们在软硬件一体、新介质方面的输入。

于是,这个大会上可以看到很多阿里巴巴的元素。是的,我们全力支持了这个技术盛会,有存储专家团队也有阿里云盘古存储系统,有展台也有专场,与技术来一个全面拥抱。

两大整体感受:新介质与中国面孔

在奥克兰的四天时间里,我们一行人每天都按照自己的研究方向挤在各个报告厅里。除了各自关注的领域的进展外,也接触到了不少扩展的知识和应用,以及学术界最新的一些研究方向和思路。

回来之后,我们梳理了一下本届FAST整体感受:
2018031702

图为FAST’18 当中的一场会议

1、新一代存储介质话题最热,将迎来行业的变革

不难看出,近年来新硬件层出不穷给存储行业带来革命式发展,如何改造软件让新硬件发挥全部出能力是学术届和工业届面临的共同难题。

从今年发表的文章数量来看,新一代存储介质毫无疑问是最热门的领域。

技术报告分为8个Session,共23篇论文,其中1/3论文与本地存储系统有关(硬件+本地文件系统),最佳论文两篇,分别是:“Protocol-AwareRecovery for Consensus-Based Storage“解决故障副本的快速修复问题;”Barrier-EnabledIO Stack for Flash Storage“解决fsync引入的高延迟问题。

2、存储技术领域的中国面孔迅速增多

另一大感受是参会嘉宾中有非常多的中国面孔,23篇论文中第一作者是华人的有8篇,其中清华大学有两篇论文入选(派出了大概6名参会人员),这当然是一个巨大的进步。

但如果我们去看大会的联席主席以及ProgramCommittee名单的话,又会发现已经有数位中国学者,但尚未有中国大学及公司入列。这是一个最好的标尺:我们仍需大把大把的努力,中国技术人要用技术赢得赞誉。

工业界最关注阿里云的增强型云盘(ESSD) 百万IOPS与百微秒延时

接着说下在FAST上阿里巴巴分享了哪些技术。

在FAST展台上,我们着重展示的是「盘古」分布式存储,以及基于盘古存储的多个云服务、自研的双模式 SSD 等。当中,近期发布的增强型云盘(ESSD)又是被问及最多的产品,面对达到百万 IOPS和单路百微秒延时的技术实现,用苹果文案风来说就是:“真的问,问了又问”。

“增强型云盘是我们做的第四代块存储产品,它采用了全用户态协议栈,通过用户态polling 模式驱动程序架构如 SPDK、DPDK,避免了传统软件中的线程切换和系统调用开销,因此能达到极低延时和高 IOPS的用户体验。”我们也是“答了又答”,深入交流的部分就不在此贴了。

同行则比较关心增强型云盘单路延时100us与写透盘掉电不丢数据这两点。

中国的电商和云计算如今在海外也成了技术招牌,但凡提及双11峰值,接下去的提问就会接踵而至。“如何在复用现有硬件不增加成本的情况下,满足电商交易峰值流量。”、“峰值对于存储的准备工作与日常有哪些不同”……

这方面阿里巴巴采用计算存储分离和在线离线混跑技术,将电商容器和数据库等延时敏感的应用和离线数据作业部署在同一批机器上,根据交易量动态调整两者资源占用比例,实现电商全链路的弹性部署。

从提问者身上可以非常明显地看到,对于技术人来说,其实特别羡慕这类极端的峰值场景,带来的经验和技术积累特别的“浓缩”。我想,真正的技术人还真是一样:有问题最好啊,我来解嘛。

当然了,技术人与平台也是相辅相成的。“如果没有如此牛逼的舞台(技术),何处安放我牛逼的技术(何以造就牛逼的平台)”。

同行评价:“这是FAST上第一次有云计算公司愿意分享技术实现”

除了展台,阿里巴巴组织的“阿里之夜”报告专场也是热闹非凡。

阿里云首席架构师唐洪等在会上分享了我们在大规模分布式存储领域的实践经验。来自 NAS 团队的陆庆达在会上分享了我们如何做到同时支持NFS和SMB。

说到这里,阿里云 NAS 服务是全球首个同时支持 NFS 和 SMB 的云文件系统服务。NFS 和 SMB 原本是为传统存储设计的协议,至今已经二十余年历史。如何将它和云存储的大规模可扩展架构结合起来是 NAS 服务设计的难点。

2018031703

图为基于盘古存储系统的阿里云NAS服务架构

这场分享会从原定的1个小时延长至1个半小时,会议结束后大家拉着讨论一些技术点一直到了晚上10点。

来自存储工业界组织SNIA的Michael Oros特意找到我同事致谢说,“这是FAST上第一次有云计算公司愿意分享技术实现,希望未来多多支持存储标准化工作。”

【云栖快讯】一站式开发者服务,海量学习资源免费学  详情请点击

网友评论