58 集团大规模 Storm 任务平滑迁移至 Flink 的秘密

  1. 云栖社区>
  2. 博客>
  3. 正文

58 集团大规模 Storm 任务平滑迁移至 Flink 的秘密

Ververica 2019-08-05 17:35:41 浏览417
展开阅读全文

Flink-Storm 是 Flink 官方提供的用于 Flink 兼容 Storm 程序 beta 工具,并且在 Release 1.8 之后去掉相关代码。本文主要讲述 58 实时计算平台如何优化 Flink-Storm 以及基于 Flink-Storm 实现真实场景下大规模 Storm 任务平滑迁移 Flink。

背景

58 实时计算平台旨在为集团业务部门提供稳定高效实时计算服务,主要基于 Storm 和 Spark Streaming 构建,但在使用过程中也面临一些问题,主要包括 Storm 在吞吐量不足以及多集群带来运维问题,Spark Streaming 又无法满足低延迟的要求。Apache Flink 开源之后,其在架构设计、计算性能和稳定性上体现出的优势,使我们决定采用 Flink 作为新一代实时计算平台的计算引擎。同时

网友评论

登录后评论
0/500
评论
Ververica
+ 关注