Flink状态管理和容错机制介绍

  1. 云栖社区>
  2. 博客>
  3. 正文

Flink状态管理和容错机制介绍

Ververica 2019-04-25 15:23:56 浏览900
展开阅读全文

作者: 施晓罡

本文来自2018年8月11日在北京举行的 Flink Meetup会议,分享来自于施晓罡,目前在阿里大数据团队部从事Blink方面的研发,现在主要负责Blink状态管理和容错相关技术的研发

本文主要内容如下:

  • 有状态的流数据处理;

  • Flink中的状态接口;

  • 状态管理和容错机制实现;

  • 阿里相关工作介绍;

一.有状态的流数据处理

1.1什么是有状态的计算

计算任务的结果不仅仅依赖于输入,还依赖于它的当前状态,其实大多数的计算都是有状态的计算。 比如wordcount,给一些word,其计算它的count,这是一个很常见的业务场景。count做为输出,在计算的过程中要不断的把输入累加到count上去,那么count就是一个state。

1.2.传统的流计算系统缺少对于程序状态的有效支持

  • 状态数据的存储和访问;

  • 状态数据的备份和恢复;

  • 状态数据的划

网友评论

登录后评论
0/500
评论
Ververica
+ 关注