Flink原理与实现:详解Flink中的状态管理

  1. 云栖社区>
  2. 博客>
  3. 正文

Flink原理与实现:详解Flink中的状态管理

codyinnowhere 2017-10-19 14:32:59 浏览14010
展开阅读全文

Flink原理与实现系列文章 :

Flink 原理与实现:架构和拓扑概览
Flink 原理与实现:如何生成 StreamGraph
Flink 原理与实现:如何生成 JobGraph
Flink原理与实现:如何生成ExecutionGraph及物理执行图
Flink原理与实现:Operator Chain原理

上面Flink原理与实现的文章中,有引用word count的例子,但是都没有包含状态管理。也就是说,如果一个task在处理过程中挂掉了,那么它在内存中的状态都会丢失,所有的数据都需要重新计算。从容错和消息处理的语义上(at least once, exactly once),Flink引入了state和checkpoint。

首先区分一下两个概念,state一般指一个具体的task/operator的状态。而checkpoint则表示了






网友评论

登录后评论
0/500
评论
codyinnowhere
+ 关注