阿里巴巴为什么选择Apache Flink?

  1. 云栖社区>
  2. 阿里技术>
  3. 博客>
  4. 正文

阿里巴巴为什么选择Apache Flink?

技术小能手 2018-10-16 15:16:00 浏览3187
展开阅读全文

本文主要整理自阿里巴巴计算平台事业部资深技术专家莫问在云栖大会的演讲。

合抱之木,生于毫末

随着人工智能时代的降临,数据量的爆发,在典型的大数据的业务场景下数据业务最通用的做法是:选用批处理的技术处理全量数据,采用流式计算处理实时增量数据。在绝大多数的业务场景之下,用户的业务逻辑在批处理和流处理之中往往是相同的。但是,用户用于批处理和流处理的两套计算引擎是不同的。

因此,用户通常需要写两套代码。毫无疑问,这带来了一些额外的负担和成本。阿里巴巴的商品数据处理就经常需要面对增量和全量两套不同的业务流程问题,所以阿里就在想,我们能不能有一套统一的大数据引擎技术,用户只需要根据自己的业务逻辑开发一套代码。这样在各种不同的场景下,不管是全量数据还是增量数据,亦或者实时处理,一套方案即可全部支持,这就是阿里选择Flink的背景和初衷

1c7e42eb5374ba947c61721adbd6f6895ecdcfd5

目前开源大数据

网友评论

登录后评论
0/500
评论
技术小能手
+ 关注
所属云栖号: 阿里技术