原理解析 | Apache Flink 结合 Kafka 构建端到端的 Exactly-Once 处理

  1. 云栖社区>
  2. 博客>
  3. 正文

原理解析 | Apache Flink 结合 Kafka 构建端到端的 Exactly-Once 处理

apache_flink 2019-06-20 12:02:40 浏览931
展开阅读全文

文章目录:

  1. Apache Flink 应用程序中的 Exactly-Once 语义
  2. Flink 应用程序端到端的 Exactly-Once 语义
  3. 示例 Flink 应用程序启动预提交阶段
  4. 在 Flink 中实现两阶段提交 Operator
  5. 总结

Apache Flink 自2017年12月发布的1.4.0版本开始,为流计算引入了一个重要的里程碑特性:TwoPhaseCommitSinkFunction(相关的Jira)。它提取了两阶段提交协议的通用逻辑,使得通过Flink来构建端到端的Exactly-Once程序成为可能。同时支持一些数据源(source)和输出端(sink),包括Apache Kafka 0.11及更高版本。它提供了一个抽象层,用户只需要实现少数方法就能实现端到端的Exactly-Once语义。

有关TwoPhaseCommi

网友评论

登录后评论
0/500
评论
apache_flink
+ 关注