揭秘“飞天”的24小时:马云真正的“核武器”

简介: 中国社会正在经历着巨大的商业变革,而巨大的商业变革也伴随着巨大的技术进步。阿里在对中国以至全球电子商务生态产生巨大影响的同时,背后的核心技术:云计算。将会怎样的影响未来?
作者:林易

引言:中国社会正在经历着巨大的商业变革,而巨大的商业变革也伴随着巨大的技术进步。阿里在对中国以至全球电子商务生态产生巨大影响的同时,背后的核心技术:云计算。将会怎样的影响未来?

离双11还有五天,杭州云栖小镇

bd28f86659b4d11ce924152464b64f627ff41044

阿里云双11的技术负责人杨曦从云栖小镇开车前往位于20公里以外的西溪园区,在停车场取车的时候,杨曦告诉云栖社区特约记者。
他即将去参加双11前最后的演练,全链路压测。
这是模拟真实流量下,云计算能否通过双11的一次模拟考试,虽然这已经是第N次测试,但杨曦还是显得有些紧张。
“每一次都是白天进去,第二天早上出来。”杨曦告诉记者。
与熬夜加班相比,他们更大的期待是,不要出问题。
零点以后,指标开始越来越高,大家也开始不安起来,很多人开始在走廊上踱步。
晚上两点,峰值与夜宵一起到来,相安无事,众人松了一口气。
早上五点,人群逐渐散去。
这个时候,离双11还有四天。
对于阿里云来说,这已经是第八年。
从去年开始,双11从一个购物的节日,变成了全球狂欢节。
而随之带来的,是诸多技术的演化,对于阿里云的“飞天”系统来说,每一次双11,都是一次考验,而今年,“飞天”不仅保障了双11全链路,还在支持整个双11的生态,可以说,“飞天”已经是双11的基础设施。
飞天(Apsara)是由阿里云自主研发的一个超大规模通用计算操作系统。它可以将遍布全球的百万级服务器连成一台超级计算机,希望解决人们关于计算的规模、效率和安全问题。
能够为整个双11所有环节提供全套方案,本身就是一次具有挑战的任务。
而双11本身,对于阿里云也有象征意味,从图片云,视频云,电商云,金融云,聚石塔,物流云。
在中国,没有一家云计算厂商,能够与合伙伙伴携手建成一个如此完整的PAAS解决方案,并且能对外输出。

离双11开始还有5个小时,西溪园区一号楼作战室

真正的挑战,从晚上七点就开始了,与业务部门关心的晚会精彩度相比,阿里云更关心每一个用户的观看体验。

晚会,明星,媒体的不断滚动报道,一年中最便宜的商品抽奖。
对于技术的小二来说,都是一次小小的担忧,这并非毫无先例的担心,曾经某视频网站就因为一部热映网剧全站挂掉。

而这样的情境,如果出现在双11,结果几乎不可想象。
小贝,维多利亚的秘密这些大咖,对于项目室里的同学来说,就意味着一次次的考验和峰值。
晚上11点50分,晚会即将结束,而新的挑战又要开始。
趁着这个间隙,很多项目室里的小二开始喝水,吃饼干,刚刚的紧张氛围开始缓解。

根据官方披露数据,直播总观看人数超4257万,同时观看人数峰值达529万,在云端实现了高计算复杂度的H.265实时转码和窄带高清技术。

“窄带高清视频转码技术,在不降低清晰度的情况下,将直播视频带宽占用进一步降低,从而保证了用户能够流畅地观看大场景下的娱乐晚会。”阿里云资深专家蔡华告诉记者,窄带高清技术目前已经帮助阿里云的用户能够很好的节约带宽,降低成本,提升客户体验。

通过全球数百个CDN节点,晚会在全球传递。

其实,这并非ApsaraVideo和CDN的首次亮相,央视的春节晚会,南京青运会,抗战胜利阅兵,都有阿里视频云ApsaraVideo和CDN影子。

离双11开始还有5分钟,西溪园区一号楼作战室

此时,陆续有人回到座位,在峰值即将来临之前,大多数人都在观望着数据屏,所有的准备已经做完,临战在即。
“如果双11的业务,超过现有的机房承受能力怎么办?”这是记者向阿里云资深专家何云飞提出的一个问题。
“阿里云弹性计算平台的交付的性能,在资源充足的情况下,已经达到了8分钟新建1万台的交付能力。简单的说,相当于8分钟可以交付一个中型互联网公司的弹性资源。”

如果真的出现意外情况,逆转只需要八分钟,这才是阿里云的底气所在。
项目室里逐渐安静了下来,只有数秒的喃喃声。

双11开始,西溪园区一号楼作战室

与想象中的大呼大喊不同,真正的搏杀都是寂静无声的。
只有人轻轻的喊了一声,流量上来了。
监控大屏上的曲线开始如脱缰野马狂奔起来,但是与往常不同的是,曲线攀升到了红线附近,就开始顺从的前行,并没有突破红线的打算。

“电商交易的链路非常复杂,涉及到数据库,中间件网络,负载均衡等,高并发下没有突破红线,说明了云计算应对这种复杂场景下的高性能。这样的场景不仅在双11,在12306铁路售票中,也保障着春运回家的步伐,可以说这种能力已经与国计民生息息相关。”阿里云资深总监李津说。

与许多企业类似,阿里的业务经历了十几年的发展,各种系统,无论是从时间跨度,还是从技术跨度都非常的大。
所以,对于双11来说,混合云就成为了一个最成熟的解决方案。
但是,这个混合云的规模,是全球最大的。
能否让这个混合云成功的跑起来承载双11的业务,需要一个靠谱儿的方案。
对于混合云来说,如何接入,是成败的关键。
“业务搬到公共云上会遇到安全性,网络连通,以及运维管理的问题。这些问题不解决,上云也会成为空谈。”阿里云双11的负责人杨曦说。
杨曦和他的团队通过VPC网络隔离了实现公有云场景下集团业务和外部业务的隔离,实现了安全的需求,同时,使用阿里云的高速通道技术,可以将不同网络环境连通,七网隔离的阿里生产和弹外环境在可靠的安全保障下进行互通。海外业务,也可以实现低延迟和高带宽。

而阿里云经过多年实践提供的众多API,也降低了部署混合云的运维难度。

其实,不仅是双11,这样的实例早已经为能源行业所运用:阿里云与中国石化合作,采用VPC在公有云上搭建了中石化的专有云,通过专线与石化内部数据中心打通,实现中石化的混合云方案。

双11开始第13分钟,广东佛山

佛山芦苞镇打工的黄先生还在血拼的时候,菜鸟联盟的成员EMS已经敲响了他的房门,黄先生成为了2016年天猫双11第一个收到包裹的消费者。
在电影中,我们经常可以看到通过虫洞可以缩短宇宙之间的距离。
在现实生活当中,虽然物理距离不能缩短,但是我们能够通过数据,提高流转效率。

在双11开始后的9个小时中,有232个城市的剁手党收到了包裹。

“云计算则可以将物流企业的系统信息进行整合。加强企业对物流信息系统的利用,这样可以一定程度上提高企业的效率。”菜鸟物流的小二告诉记者。

而利用云上信息共享和数据分析,可以更高效的将客户的信息进行统计,制定物流运行线路;

分析当前地区用户的物流喜好和物流需求,物流公司可以设计更加合理的物流配送路线,甚至你还没买,货已经在路上了。

“今年,很多物流公司通过基于阿里云和菜鸟的物流云PaaS和SaaS平台承载2016年双十一的物流订单及派单任务,从安全、基础资源、数据库等专业的服务,让菜鸟和菜鸟的物流合作伙伴快速实现在云平台上搭建应用系统,灵活扩容。”菜鸟物流的小二说。

“双11物流背后是一场数据的战争。”菜鸟网络CEO童文红说。

双11开始第3个小时,北京消费者

每一年双11,都会产生海量的图片访问请求。
北京的消费者点开了一个主会场商品,几乎在一瞬间,图片迅速打开,与此同时,全国还有无数消费者在读取同一张图片。
而今年的所有图片,都放在阿里云的存储系统OSS上。
为了让这些图片平滑迁移到阿里云上,不给业务造成影响,阿里云完全兼容了原有系统的接口,并且在迁移过程中做到了无缝切换,这样上层应用方不需要改一行代码,改造成本为0,同时迁移过程中应用方也是无感知的,实现了平滑切换。

“双11中,OSS承载了天猫全部的图片、视频、网页文件存储,平稳支撑了双十一期间洪峰访问压力。”阿里云资深专家吴锦波评论。

双11开始第5个小时,西溪园区作战室

天光已微微泛白,走道上的帐篷陆续有人开始入驻,阿里云CDN的负责人叔度摘下了眼镜,走出了项目室在走廊里透起气来。
今年双11,CDN并不容易,要同时保障天猫直播和淘宝直播,还有随后到来的零点峰值。
从晚上7点开始到凌晨,CDN都一直处于最忙碌的状态,全球数百个节点传输着双11的数据。
阿里云的高带宽,充分的存储资源开始在高并发的场景中显现出优势。
而为了不”浪费”CDN设施,集团又要求对于设施的利用率要高,这就给CDN团队提出了极大的挑战。
“双11的CDN整体水位都会跑得很高,这对整个CDN分布式系统的容错、调度能力都是极大的考验。可以说,阿里云CDN是经过双11洗礼的系统,其稳定性和性能都是经过充分生产压测了的。”叔度说。

阿里云CDN今年开始支持的一个新技术,成为了双11制胜的关键:淘宝全站使用HTTPS+HTTP/2.0
HTTPS+HTTP/2.0比起传统HTTP1.1,性能高出许多倍,同时也更加安全。

“阿里云CDN充分利用硬件性能的同时,对软件性能进行优化,在仅增加少量机器的情况下,支撑起中国最大的HTTPS流量。”叔度擦了擦镜片,告诉记者。

双11第7个小时,上海卖家

屏幕前的电商客服已经鏖战了七个小时了,马上就到换班的时间了,客服把过去七个小时生成的订单进行了简单的梳理,与往常一样,没有任何丢单,错漏。
客服关闭了屏幕,把账号交接给了刚刚到的同事。
最大的峰值就这样平稳过去了。
而在他的老板看来,与往年相比,双11的设施投入,变得更少了。
与往年相比,今年最大的不同在于商家是在双十一来临的最后一两天内密集升级扩容,而不是提前好几天进行扩容。
“按需购买”,“快速弹性升级”成为了他们的关键词。
而就在过去的七个小时里,聚石塔以每秒数十万笔的速度,将订单推给卖家。

离双11结束还有3个小时,深圳,媒体大厅

数字滚动跳跃着,每一次购买按下确认的那一刻,数据穿越几千公里近200个系统,4秒之内,就会成为跳动的交易数字,变成媒体的兴奋与欢呼。
不仅仅是大屏幕,流式实时计算在双11期间,实时数据的处理峰值相当于每秒看完500本《辞海》。
经过双十一的磨练,流式计算的计算能力未来将变成技术红利,普惠用户,让用户成本变得更低。

在堪比IMAX影院的媒体大厅,数个小时之前还是魔术师的ET,回答了阿里云资深专家何云飞的问题。

在未来,也许他们可以回答更多的问题。

离双11结束还有1小时,阿里云官网

人们还在抢购阿里云特价服务,在许多企业看来,经过数次降价的阿里云把技术能力真正转变为了技术红利。
数字已经接近了1.9亿,这是阿里云产品的双11销售总量。
阿里云已经不仅仅是保障天猫双11的链条,而是助力驱动各个行业协作,挑战极限的“核武器”。
除了天猫,阿里云还助力双11全产业链中的各个行业。
在新浪微博,阿里云支持他们快速搭建了应对晚高峰的ECS。
“不光双十一,每次有重大轰动事件,他们都会要求咱们快速创建资源,用完快速释放。”阿里云高级专家铮明经常承接新浪微博的这类需求。

在香港,阿里云支撑了国际电商莎莎升级配置,顶住了双11的国际流量。

11月12日零点,双11结束

零点钟声响起,数字定格在千亿之上,疲惫了两天的杨曦获得了现场颁发的双11卓越奖。
在获奖感言中,杨曦说,“双11的巨大流量考验,已经成为阿里云的‘技术常态’。”
这意味着,阿里云已经能够随时为社会输出双11的能力。
任何一个新技术,都需要一个场景自证预言。双11,就是证明云计算的场景。

一个没有结束的话题

正如马云所说,双11,实际上是未来新零售时代的技术准备和大考,我们要做好面向未来和新零售时代的技术升级和准备。
有人说,飞天这个互联网级的系统,是马云造出的黑客帝国中的“母体”,也有人评论,云计算已经是双11全产业链的基础设施。
透过双11这个冰山一角,我们可以隐约看到,阿里云,已经成为马云真正的“核武器”。

这是最好的时代

在1990年代,只有26%的中国人生活在城市及其周边地区,而到2010年,这个数据上升到了43%,而到2030年,预计将有70%的中国人生活在城市中。    
这个国家的城镇化进程开始不到四十年,而从1994年开始,这个国家互联网化的进程仅仅21年。   
在这短短的二十多年间,互联网从一个舶来之物,到这个国家落地萌发,艰辛地成长,并具有了中国特色和内涵。
而诞生于互联网上的节日:双11。则刚刚诞生8年。
 
如果说,大数据是经济发展的原油,云计算是引擎,云计算与大数据将给未来带来什么?新零售、新制造、新金融、新技术、新能源,将给未来创造什么?

答案是,这是最好的时代,这个时代无所不能。
相关文章
|
5月前
|
缓存 NoSQL 算法
本科毕业六年,疫情期间备战一个月,四面阿里巴巴定级P7
来自一个四面阿里的面经总结 我觉得有一个能够找一份大厂的 offer的想法,这是很正常的,这并不是我们的饭后谈资而是每个技术人的追求。像阿里、腾讯、美团、字节跳动、京东等等的技术氛围与技术规范度还是要明显优于一些创业型公司 / 小公司,如果说能够在这样的公司锻炼几年,相信对自己能力的提升还是非常大的。不论是校招还是社招都避免不了各种面试、笔试,如何去准备这些东西就显得格外重要。不论是笔试还是面试都是有章可循的。
|
Cloud Native Serverless 开发者
官宣!第三届云原生编程挑战赛正式启动!51,0000元奖池+千元礼包等你来拿!
第三届云原生编程挑战赛正式启动!本届大赛将深度探索服务网格、边缘容器、Serverless 三大热门技术领域,针对行业热门技术方向,掌握核心处理问题、思考问题的方式,运用最前沿的产品技术工具,全面提升个人能力。
官宣!第三届云原生编程挑战赛正式启动!51,0000元奖池+千元礼包等你来拿!
|
人工智能 大数据 云栖大会
云栖大会仅剩1天,创业者都看这个专场!
未来的创业风向和机遇在哪里?请看这里!
云栖大会仅剩1天,创业者都看这个专场!
|
消息中间件 弹性计算 Cloud Native
估值百亿独角兽爱学习教育集团:通过云原生实践与时间赛跑
iiMedia Research(艾媒咨询)数据显示,在线教育市场规模保持逐年增长的态势,2019年在线教育市场规模已突破4000亿元。在疫情的助推下,在线教育加速渗透,市场空间有望进一步打开,预计2020年中国在线教育市场规模将达到4538亿元。
3011 0
估值百亿独角兽爱学习教育集团:通过云原生实践与时间赛跑
|
大数据
CCF大数据与计算智能大赛在沈阳浑南落幕 45支团队赢百万奖金
12月2日,第六届2018 CCF大数据与计算智能大赛决赛嘉年华系列活动在沈阳浑南创新天地落下帷幕。
1633 0
|
人工智能 分布式计算 物联网
昨日广州云栖“大算”受追捧,今日揭秘阿里双11技术核武器MaxCompute,感恩节再放福利!(活动已结束)
MaxCompute感谢最最亲爱的客户,感谢您信任的将我选择,感谢您期待的将未来托付,更感谢您包容的与我比肩同行。感恩不应只在今天说出,而是在有你们支持走过的每一天。为亲爱的客户们奉上载满MaxCompute团队伙伴们感恩和祝福的话儿 “感恩有你,一路同行”。(文末有福利哦~)
2727 0