Apache Flink 进阶(一):Runtime 核心机制剖析

  1. 云栖社区>
  2. 阿里云实时计算>
  3. 博客>
  4. 正文

Apache Flink 进阶(一):Runtime 核心机制剖析

巴蜀真人 2019-09-11 19:33:06 浏览3659
展开阅读全文

作者:高赟(云骞)

1. 综述

本文主要介绍 Flink Runtime 的作业执行的核心机制。首先介绍 Flink Runtime 的整体架构以及 Job 的基本执行流程,然后介绍在这个过程,Flink 是怎么进行资源管理、作业调度以及错误恢复的。最后,本文还将简要介绍 Flink Runtime 层当前正在进行的一些工作。

2. Flink Runtime 整体架构

Flink 的整体架构如图 1 所示。Flink 是可以运行在多种不同的环境中的,例如,它可以通过单进程多线程的方式直接运行,从而提供调试的能力。它也可以运行在 Yarn 或者 K8S 这种资源管理系统上面,也可以在各种云环境中执行。

图片 1.png

图1. Flink 的整体架构,其中 Runtime 层对不同的执行环境提供了一套统一的分布式执行引擎。

针对不同的执行环境,Fl


网友评论

登录后评论
0/500
评论
巴蜀真人
+ 关注
所属云栖号: 阿里云实时计算