原理解析 | 深入了解 Apache Flink 的网络协议栈

  1. 云栖社区>
  2. 博客>
  3. 正文

原理解析 | 深入了解 Apache Flink 的网络协议栈

Ververica 2019-06-25 17:02:41 浏览582
展开阅读全文

作者:Nico Kruber

翻译:曹英杰

Flink 的网络协议栈是组成 flink-runtime 模块的核心组件之一,是每个 Flink 作业的核心。它连接所有 TaskManager 的各个子任务(Subtask),因此,对于 Flink 作业的性能包括吞吐与延迟都至关重要。与 TaskManager 和 JobManager 之间通过基于 Akka 的 RPC 通信的控制通道不同,TaskManager 之间的网络协议栈依赖于更加底层的 Netty API。

本文将首先介绍 Flink 暴露给流算子(Stream operator)的高层抽象,然后详细介绍 Flink 网络协议栈的物理实现和各种优化、优化的效果以及 Flink 在吞吐量和延迟之间的权衡。

1.逻辑视图

Flink 的网络协议栈为彼此通信的子任务提供以下逻辑视图,例

网友评论

登录后评论
0/500
评论
Ververica
+ 关注