Flink实战(三) - 编程范式及核心概念

  1. 云栖社区>
  2. Java技术进阶>
  3. 博客>
  4. 正文

Flink实战(三) - 编程范式及核心概念

javaedge 2019-06-18 00:39:50 浏览829
展开阅读全文

1 基本的 API 概念

Flink程序是实现分布式集合转换的常规程序(例如,过滤,映射,更新状态,加入,分组,定义窗口,聚合)。最初从源创建集合(例如,通过从文件,kafka主题或从本地的内存集合中读取)。结果通过接收器返回,接收器可以例如将数据写入(分布式)文件或标准输出(例如,命令行终端)。 Flink程序可以在各种环境中运行,独立运行或嵌入其他程序中。执行可以在本地JVM中执行,也可以在许多计算机的集群上执行。

根据数据源的类型,即有界或无界源,您可以编写批处理程序或流程序,其中

  • DataSet API用于批处理
  • DataStream API用于流式处理。

注意:在显示如何使用API的实际示例时,我们将使用StreamingExecutionEnvironment和DataStream API。 DataSet API中的概念完全相

网友评论

登录后评论
0/500
评论
javaedge
+ 关注
所属云栖号: Java技术进阶