直击阿里双11神秘技术:PB级大规模文件分发系统“蜻蜓”

  1. 云栖社区>
  2. 阿里技术>
  3. 博客>
  4. 正文

直击阿里双11神秘技术:PB级大规模文件分发系统“蜻蜓”

技术小能手 2017-11-14 11:39:38 浏览4147
展开阅读全文

930a66a9b8cc460195741b9ade96890793b486da

蜻蜓,通过解决大规模文件下载以及跨网络隔离等场景下各种难题,大幅提高数据预热、大规模容器镜像分发等业务能力。月均分发次数突破20亿次,分发数据量3.4PB。其中容器镜像分发比natvie方式提速可高达57倍,registry网络出口流量降低99.5%以上。今天,阿里妹邀请阿里基础架构事业群高级技术专家如柏,为我们详述蜻蜓从文件分发到镜像传输的技术之路。

蜻蜓的诞生

随着阿里业务爆炸式增长,2015年时发布系统日均的发布量突破两万,很多应用的规模开始破万,发布失败率开始增高,而根本原因就是发布过程需要大量的文件拉取,文件服务器扛不住大量的请求,当然很容易想到服务器扩容,可是扩容后又发现后端存储成为瓶颈。此外,大量来自不同IDC的客户端请求消耗了巨大的网络带宽,造成网络拥堵。

同时,很多业务走向国际化,大量的应用部署在海外,海外服务器下载要















网友评论

登录后评论
0/500
评论
技术小能手
+ 关注
所属云栖号: 阿里技术