阿里云重磅开源实时计算平台Blink,挑战计算领域的“珠峰”

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: Blink应约开源。

【编者按】如果读者对Blink和Flink的关系,Blink研发历史等感兴趣,推荐阅读:
新闻背后|关于Blink和Flink,开发者的这些问题可以从这篇文章得到回答

对于Blink开源技术讨论,可参考《终于等到你!阿里正式向 Apache Flink 贡献 Blink 源码》


信息爆炸的时代,智能推荐已经被应用到各类互联网产品中,但为千万级甚至亿级规模的用户实时做精准的推荐难度极高。这一难题已经被阿里攻克了:双11的第1分钟,数千万人同时涌进天猫,点开APP的一瞬间,心仪的宝贝就已经出现在屏幕上,这种一秒都没延迟的体验来自阿里云的“计算王牌”——实时计算平台Blink。

1月28日,阿里云正式宣布,将这一技术开源,要让所有计算在线、实时,帮助人类追赶时间。

blink_

Blink是一项典型的“传火于薪”开源技术,传承自Flink开源框架,后者最早适用于小流量互联网场景的数据处理。

由于看好实时计算,阿里率先对Flink进行改造,并将Flink的计算能力推向巅峰,推出内部版Blink,将计算延迟降低到人类无法感知的毫秒级:浏览网页的时候,你只是眨了一下眼睛,但在淘宝、天猫处理的信息已经刷新了17亿次。

实时计算到底有多重要?2004年,谷歌开启了离线计算时代,可以针对海量数据进行定时计算,但随着电商、金融等行业的发展对大数据计算提出了新的需求,在金融交易场景里,风控系统如果不能实时观察每一个账户的行为动态,就可能因为1秒的延迟遗漏风险,无法阻断危险交易,造成消费者损失。但实时计算突破了这一技术瓶颈。

现在,阿里巴巴集团的全部核心业务已经用上Blink。除了技术大考双11之外,ET城市大脑实时计算着杭州1300个信号灯路口、4500路视频,保障着交通动脉的通畅;淘宝、天猫每天为数亿用户展现实时的“专属”页面。

未来,这项技术还会被应用到社会的各个场景:工厂设备的物联网设备能实时分析数据、提高生产良品率;物流派送平台能第一时间下单,把商品及时送到消费者手中;导航软件时刻紧随出行轨迹,不再错过转弯口……

关于这次开源,Data Artisans(Flink创始公司)的 CTO Stephan Ewen兴奋地表示:“阿里巴巴是Flink最大的贡献者之一,很高兴阿里能将内部优化的Flink版本开源给社区,让开发者享受到更先进的计算能力。”

阿里巴巴集团副总裁周靖人说:“我们一直密切关注并积极参与最前沿的计算技术。Flink过去几年在计算领域获得了很大成功,阿里、Uber、Netflix等都是Flink的受益者,我们希望通过这次开源进一步服务整个社会。”

在此之前,阿里已经为Flink社区贡献近20万行代码改动,参与建立了首个Flink中文社区,推动了这项实时计算技术在国内的发展。

据了解,在各大开源社区,阿里表现活跃,已有400多个开源项目,涉及中间件、框架、组件、数据库、存储等,包括滴滴、网易、Netflix、Uber在内的互联网公司都是阿里开源项目的使用者。在GitHub贡献排行榜上,阿里是唯一一家入围顶尖贡献名单的中国公司。

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
目录
打赏
0
0
0
0
4868
分享
相关文章
​Flink+Paimon+Hologres,面向未来的一体化实时湖仓平台架构设计
​Flink+Paimon+Hologres,面向未来的一体化实时湖仓平台架构设计
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
118 2
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
本文整理自鹰角网络大数据开发工程师朱正军在Flink Forward Asia 2024上的分享,主要涵盖四个方面:鹰角数据平台架构、数据湖选型、湖仓一体建设及未来展望。文章详细介绍了鹰角如何构建基于Paimon的数据湖,解决了Hudi入湖的痛点,并通过Trino引擎和Ranger权限管理实现高效的数据查询与管控。此外,还探讨了湖仓一体平台的落地效果及未来技术发展方向,包括Trino与Paimon的集成增强、StarRocks的应用以及Paimon全面替换Hive的计划。
274 1
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
Flink+Paimon+Hologres,面向未来的一体化实时湖仓平台架构设计
本文介绍了阿里云实时数仓Hologres负责人姜伟华在Flink Forward Asia 2024上的分享,涵盖实时数仓的发展历程、从实时数仓到实时湖仓的演进,以及总结。文章通过三代实时数仓架构的演变,详细解析了Lambda架构、Kafka实时数仓分层+OLAP、Hologres实时数仓分层复用等方案,并探讨了未来从实时数仓到实时湖仓的演进方向。最后,结合实际案例和Demo展示了Hologres + Flink + Paimon在实时湖仓中的应用,帮助用户根据业务需求选择合适的方案。
677 20
Flink+Paimon+Hologres,面向未来的一体化实时湖仓平台架构设计
探索阿里云 Flink 物化表:原理、优势与应用场景全解析
阿里云Flink的物化表是流批一体化平台中的关键特性,支持低延迟实时更新、灵活查询性能、无缝流批处理和高容错性。它广泛应用于电商、物联网和金融等领域,助力企业高效处理实时数据,提升业务决策能力。实践案例表明,物化表显著提高了交易欺诈损失率的控制和信贷审批效率,推动企业在数字化转型中取得竞争优势。
200 16
Flink-04 Flink Java 3分钟上手 FlinkKafkaConsumer消费Kafka数据 进行计算SingleOutputStreamOperatorDataStreamSource
Flink-04 Flink Java 3分钟上手 FlinkKafkaConsumer消费Kafka数据 进行计算SingleOutputStreamOperatorDataStreamSource
154 1
美团 Flink 大作业部署问题之想在Serverless平台上实时查看Spring Boot应用的日志要怎么操作
美团 Flink 大作业部署问题之想在Serverless平台上实时查看Spring Boot应用的日志要怎么操作
联通实时计算平台问题之如何体现集群治理的效果
联通实时计算平台问题之如何体现集群治理的效果
Flink CDC 在阿里云实时计算Flink版的云上实践
本文整理自阿里云高级开发工程师阮航在Flink Forward Asia 2024的分享,重点介绍了Flink CDC与实时计算Flink的集成、CDC YAML的核心功能及应用场景。主要内容包括:Flink CDC的发展及其在流批数据处理中的作用;CDC YAML支持的同步链路、Transform和Route功能、丰富的监控指标;典型应用场景如整库同步、Binlog原始数据同步、分库分表同步等;并通过两个Demo展示了MySQL整库同步到Paimon和Binlog同步到Kafka的过程。最后,介绍了未来规划,如脏数据处理、数据限流及扩展数据源支持。
293 0
Flink CDC 在阿里云实时计算Flink版的云上实践

热门文章

最新文章