什么是飞天?全球级大数据计算平台,自主研发!

简介: 飞天大数据平台就是数字化时代的核心技术。这是中国在新一轮科技革命中把握机遇的关键。

又一个注定载入史册的日子!7月25日。

又一个注定让人更有底气的核心科技!阿里云飞天大数据平台!

这是目前国内规模最大的计算平台,当然也是全球级的。

它可以扩展到10万台计算集群,用通俗的比喻,就相当于把10万台计算机组成一个巨大的计算力池子,当成一台超级计算机来使用;单日数据处理量超过600PB,相当于6亿部高清的电影。

大数据的重要性不言而喻,正当企业级数据已经不在话下的时候,越发体现出国家级数据量处理平台的可贵。

更重要的是,飞天是中国唯一一个自主研发的计算引擎。全球掌握这种技术的公司,仅用一只手就能数完,微软、亚马逊、谷歌,以及来自中国的阿里巴巴。


难,也要干。不难要你干什么?

“大数据”顾名思义,规模越大,价值越大。当然,计算难度也就越大!

image


早年间,总部位于加利福利亚的数据库软件公司Greenplum、Hadoop提供的开源技术,支撑了大多数互联网公司的大数据计算需求。

然而到了2008年时,中国网购注册用户暴增185%,已达1.2亿人,淘宝网上承载了9800万名注册会员。阿里巴巴意识到,依靠开源技术无法支撑未来中国互联网用户井喷的需求,自主研发大数据处理平台势在必行。

但很少有人知道,在飞天“一飞冲天”之前,阿里巴巴的技术研发行走在无人区。

那时,一头扎进云计算的中国公司只有阿里巴巴一家。自研云计算能否成功?稳不稳定?安不安全?对飞天不计成本地投入人才、资源和时间,使得从外界到公司内部的怀疑一浪高过一浪。

2013年8月15日,被认为“飞不起来”的飞天终于突破了核心技术,正式上线5000台服务器集群——这使得阿里成为世界上第一个对外提供5K云计算服务能力的科技公司。

到2016年2月,飞天的单集群规模超过10000台;三年之后,再扩大10倍至10万台。

2015年,飞天刷新了“世界计算奥运会”SortBenchmark的世界纪录,用377秒完成100TB的数据排序,打破了经典的计算引擎Apache Spark的1406秒纪录;

2016年,它再次刷新SortBenchmark的世界纪录,打破了亚马逊AWS自2014年起保持的世界纪录。中国自主研发的计算平台令世界刮目相看。

2017年,飞天云操作系统获得中国电子学会16年来颁发的唯一一个科技进步奖特等奖。这个每一行代码都由自己敲下的大数据平台,现在服务了全球200多个国家和地区、数以百万计的政府部门和企业。

仅以杭州为例,“城市大脑”可以在数分钟内优化1300个核心路口、万级交通配时的控制参数,处置110种交通警情,日均自动发现警情3万余起,是传统接处警数量的9倍。

衢州、上海、苏州、澳门、吉隆坡、北京、重庆、海口等境内外十几个城市先后落地城市大脑,这个数据驱动的“思考中枢”已覆盖交通治理、环境保护、城市精细化管理、区域经济等诸多城市治理领域。

上万家企业已全面迁移到云上。一个全社会的全面上云的拐点已经到来。


一代科技人背后,是我们时代的幸运

image

许多发展关键核心技术的故事,都有着类似的艰难与孤独。

就如当年的万吨水压机问世,让新中国具备了制造重大装备的条件。

绵阳风洞群,支撑了中国一代代战斗机的诞生。

连续多年霸占全球超算榜首的太湖一号带来的对航天事业的贡献。

中国首个诺贝尔生理学或医学奖得主屠呦呦在为世界带来青蒿素和双氢青蒿素前,经历了半个世纪的低头耕耘。

全球卫星导航系统北斗背后,是8万多人“朝受命,夕饮冰;昼无为,夜难寐”,奋斗超过20年。

时代正在斗转星移,社会的重器也在随之发生战略转移。

在1881年德国人西门子发明电车前,马车是城市最重要的驱动力。

电力时代造就了工业时代的繁荣,迄今,我们已经不能想象没有电,人类会怎样。

到今天,算力必将像电力超越马力一样,成为数字时代价值流通的主引擎。所以,算力强大与否很大程度上决定了经济发展、社会治理的核心效率。

作为数据大国,要走向数据强国,从数据当中找寻增长的动力,那就非打造强大的计算引擎不可。

而没有自主的大数据计算平台,我们很可能无法控制红绿灯,不能调度飞机……一切就将乱套,人类距离崩溃只有一个大数据平台!

毋庸讳言!飞天大数据平台就是数字化时代的核心技术。这是中国在新一轮科技革命中把握机遇的关键。

如果核心技术没有自主创新,数字化发展就会受到制约。而发展核心技术,意味着不计成本的投入、面对曲折的韧性和为社会创造价值的强烈使命感。

时不我待,唯有坚持自主创新,不断攻坚前沿技术发展战线,才能实现核心技术的根本性突破。勇于突破、精于创造,大力投入核心技术自主研发。

在这个能够迎头赶超的时代是幸运的,与这些科技公司和科技人才同在这个时代,更是荣耀的!

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
4月前
|
存储 SQL 分布式计算
开源大数据比对平台设计与实践—dataCompare
开源大数据比对平台设计与实践—dataCompare
65 0
|
4月前
|
SQL 存储 大数据
某互联网大厂亿级大数据服务平台的建设和实践
某互联网大厂亿级大数据服务平台的建设和实践
67 0
|
4月前
|
SQL 大数据 关系型数据库
开源大数据比对平台(dataCompare)新版本发布
开源大数据比对平台(dataCompare)新版本发布
68 0
|
4月前
|
SQL 存储 分布式计算
从0到1介绍一下开源大数据比对平台dataCompare
从0到1介绍一下开源大数据比对平台dataCompare
104 0
|
7月前
|
分布式计算 Java 大数据
大数据常用调度平台
大数据常用调度平台
196 0
|
6月前
|
存储 云安全 大数据
【云计算和大数据平台】云计算平台和大数据平台(如阿里云、腾讯云、华为云等)的搭建和使用方法
【云计算和大数据平台】云计算平台和大数据平台(如阿里云、腾讯云、华为云等)的搭建和使用方法
219 0
|
5月前
|
人工智能 Cloud Native 大数据
构建高性能云原生大数据处理平台:融合人工智能优化数据分析流程
构建高性能云原生大数据处理平台:融合人工智能优化数据分析流程
186 0
|
2月前
|
监控 物联网 大数据
智慧工地管理平台系统源码基于物联网、云计算、大数据等技术
智慧工地平台APP通过对施工过程人机料法环的全面感知、互联互通、智能协同,提高施工现场的生产效率、管理水平和决策能力,实现施工管理的数字化、智能化、精益化。
51 0
|
3月前
|
SQL 分布式计算 HIVE
开源湖仓一体平台(二):Arctic(上篇)
开源湖仓一体平台(二):Arctic(上篇)
开源湖仓一体平台(二):Arctic(上篇)
|
3月前
|
SQL 消息中间件 分布式计算
开源湖仓一体平台(一):LakeSoul
开源湖仓一体平台(一):LakeSoul

相关产品

  • 云原生大数据计算服务 MaxCompute