Flink状态管理和容错机制介绍

  1. 云栖社区>
  2. 博客>
  3. 正文

Flink状态管理和容错机制介绍

赵慧 2018-10-15 11:13:04 浏览2575
展开阅读全文

作者: 施晓罡 (花名:星罡)
导读:本文来自8月11日在北京举行的 Flink Meetup会议,分享来自于施晓罡,目前在阿里大数据团队部从事Blink方面的研发,现在主要负责Blink状态管理和容错相关技术的研发

本文主要内容如下:

  • 有状态的流数据处理;
  • Flink中的状态接口;
  • 状态管理和容错机制实现;
  • 阿里相关工作介绍;

一.有状态的流数据处理

1.1.什么是有状态的计算

计算任务的结果不仅仅依赖于输入,还依赖于它的当前状态,其实大多数的计算都是有状态的计算。 比如wordcount,给一些word,其计算它的count,这是一个很常见的业务场景。count做为输出,在计算的过程中要不断的把输入累加到count上去,那么count就是一个state。

1.2.传统的流计算系统缺少对于程序状态的有效支持

  • 状态数据的存储和访问;
  • 状态数据的备份和恢复

网友评论

登录后评论
0/500
评论
赵慧
+ 关注