从 Storm 到 Flink,汽车之家基于 Flink 的实时 SQL 平台设计思路与实践

  1. 云栖社区>
  2. 阿里云实时计算>
  3. 博客>
  4. 正文

从 Storm 到 Flink,汽车之家基于 Flink 的实时 SQL 平台设计思路与实践

巴蜀真人 2019-10-17 19:39:52 浏览3390
展开阅读全文

作者:王刚、刘首维

在 2019 年之前,之家的大部分实时业务都是运行在 Storm 之上的。Storm 作为早期主流的实时计算引擎,凭借简单的 Spout 和 Bolt 编程模型以及集群本身的稳定性,俘获了大批用户。下图是实时计算团队 Storm 平台页面:

1.jpg

自 2015 年至今 Storm 在之家已经运行 4 年之久,但随着实时计算的需求日渐增多,数据规模逐步增大,Storm 在开发及维护成本上都凸显了不足,这里列举两个痛点:

1.翻译 SQL

我们一直是 Lambda 架构,会用 T+1 的离线数据修正实时数据,即最终以离线数据为准,所以计算口径实时要和离线完全保持一致,实时数据开发的需求文档就是离线的 SQL,实时开发人员的核心工作就是把离线的 SQL 翻译成 Storm 代码,期间虽然封装了一些通用的 bolt 来简化开发,但把

网友评论

登录后评论
0/500
评论
巴蜀真人
+ 关注
所属云栖号: 阿里云实时计算