速度收藏!看完这份知识图谱,才算搞懂 Flink!

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 社区整理了这样一份知识图谱,由 Apache Flink Committer 执笔,四位 PMC 成员审核,将 Flink 9 大技术版块详细拆分,突出重点内容并搭配全面的学习素材。看完这份图谱,才算真的搞懂 Flink!

先跟大家分享一个好消息!即日起,Apache Flink 社区微信公众号 Ververica 正式更名为 Flink 中文社区 并由 Apache Flink PMC 成员进行维护,是国内唯一的 Flink 社区官方微信公众号,详细信息请见次条「声明」。

在去年的一年中,Flink 中文社区共发布文章 144 篇,通过提供 Flink 技术原理剖析、上手实操、多场景下的最佳实践以及社区的最新资讯等帮助大家更好的理解、使用 Flink。

同时,我们也发现当前社区除文章、直播教程、Meetup 外还缺少一个清晰的图谱让大家了解 Flink 完整的技术体系与学习路径。因此,社区整理了这样一份知识图谱,由 Apache Flink Committer 执笔,四位 PMC 成员审核,将 Flink 9 大技术版块详细拆分,突出重点内容并搭配全面的学习素材。看完这份图谱,才算真的搞懂 Flink!

▽ Flink 知识图谱概览 ▽

640-2.jpeg

如何获取?

关注「Flink 中文社区」微信公众号,后台回复关键字“图谱”即可下载 PDF 版本,内含大量补充链接,一键点击即可查看相关素材!

最实用的知识图谱

1.内容全面,将 Flink 所涉及的技术内容划分为 9 大版块,每部分内容进行详细分解,并提供学习路径及深入了解的学习素材。

  • Streaming Processing Concepts(common concepts for stream processing)
  • Architecture
  • State Management
  • DataStream
  • Libraries
  • Table API & SQL
  • Deployment and Operations
  • Debugging and Monitoring
  • Ecosystem
  • Use Cases

2.层次分明,将各部分技术内容中的基础入门知识进行标示,重点突出,帮你找到清晰的学习路径。

3.方便实用,每个知识点附带补充说明的链接与最佳学习素材,可及时进行深度探索,有助于理解消化。

4.强大的拓展阅读资料配置,整合了社区全年输出的技术文章、系列直播教程、线下 Meetup 及 Flink Forward Asia 的精华内容,一图在手,学好 Flink 不用愁!

各版块知识点详解

  • Streaming Processing Concepts(common concepts for stream processing)

640-3.jpeg

  • Architecture

640-4.jpeg

  • State Management

640-5.jpeg

  • DataStream

640-6.jpeg
640-7.jpeg

  • Libraries

640-8.jpeg

  • Table API & SQL

640-9.jpeg
640-10.jpeg

  • Deployment and Operations

640-11.jpeg

  • Debugging and Monitoring

640-12.jpeg

  • Ecosystem

640-13.jpeg

  • Use Cases

640-14.jpeg

部分知识图谱扩展素材

直播教程

| Flink 基础概念解析
| Flink 开发环境搭建和应用的配置、部署及运行
| Flink Datastream API 编程
| Flink 客户端操作
| Flink Time & Window
| Flink 状态管理及容错机制
| Flink Table API 编程
| Flink SQL 编程实践
| 5分钟从零构建第一个 Flink 应用
| 零基础实战教程:如何计算实时热门商品
| Runtime 核心机制剖析
| 时间属性深度解析
| Checkpoint 原理剖析与应用实践
| Flink on Yarn / K8s 原理剖析及实践
| 数据类型和序列化
| Flink 作业执行深度解析
| 网络流控和反压剖析
| 详解 Metrics 原理与实战

User Case 及补充

| 小米流式平台架构演进与实践
| 美团点评基于 Flink 的实时数仓平台实践
| 监控指标10K+!携程实时智能检测平台实践
| Lyft 基于 Flink 的大规模准实时数据分析平台
| 基于 Flink 构建 CEP 引擎的挑战和实践
| 趣头条基于 Flink 的实时平台建设实践
| G7 在实时计算的探索与实践
| Flink 靠什么征服饿了么工程师?
| Apache Flink 的迁移之路,2 年处理效果提升 5 倍
| 日均百亿级日志处理:微博基于 Flink 的实时计算平台建设
| Flink 在同程艺龙实时计算平台的研发与应用实践
| 从 Storm 到 Flink,汽车之家基于 Flink 的实时 SQL 平台设计思路与实践
| 日均处理万亿数据!Apache Flink在快手的应用实践与技术演进之路
| 从 Spark Streaming 到 Apache Flink : 实时数据流在爱奇艺的演进
| Apache Flink 在 eBay 监控系统上的实践和应用
| 每天30亿条笔记展示,小红书如何实现实时高效推荐?
| 360深度实践:Flink 与 Storm 协议级对比
| Blink 有何特别之处?菜鸟供应链场景最佳实践
| 58 集团大规模Storm 任务平滑迁移至 Flink 的秘密
| 从Storm到Flink,有赞五年实时计算效率提升实践

拓展链接

| https://ververica.cn/developers/table-api-programming/
| https://sf-2017.flink-forward.org/kb_sessions/streaming-models-how-ing-adds-models-at-runtime-to-catch-fraudsters/
| https://sf-2017.flink-forward.org/kb_sessions/building-a-real-time-anomaly-detection-system-with-flink-mux/
| https://sf-2017.flink-forward.org/kb_sessions/dynamically-configured-stream-processing-using-flink-kafka/
| https://jobs.zalando.com/en/tech/blog/complex-event-generation-for-business-process-monitoring-using-apache-flink/
| https://berlin-2017.flink-forward.org/kb_sessions/drivetribes-kappa-architecture-with-apache-flink/
| https://2016.flink-forward.org/kb_sessions/a-brief-history-of-time-with-apache-flink-real-time-monitoring-and-analysis-with-flink-kafka-hb/
| https://ci.apache.org/projects/flink/flink-docs-master/monitoring/checkpoint_monitoring.html
| https://ci.apache.org/projects/flink/flink-docs-master/dev/table/functions/udfs.html
| https://ci.apache.org/projects/flink/flink-docs-master/dev/table/functions/systemFunctions.html
| https://ci.apache.org/projects/flink/flink-docs-master/dev/table/streaming/dynamic_tables.html
| https://ci.apache.org/projects/flink/flink-docs-master/monitoring/metrics.html

重磅福利

Flink 社区知识图谱免费下载链接来啦~关注「Flink 中文社区」,后台回复关键字“图谱”即可下载,并有直播课程详解知识图谱的正确打开方式,让你一图在手,学好 Flink 不用愁!

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
16天前
|
消息中间件 API 数据处理
Flink常见面试问题(附答案)
Apache Flink是开源的流批处理框架,提供低延迟、高吞吐的数据处理。与Hadoop不同,Flink专注于实时数据流。其核心特性包括事件时间和处理时间的概念,事件时间通过水印处理乱序事件。Flink通过检查点实现容错,支持滚动、滑动和会话窗口进行流数据处理。状态后端用于管理应用程序状态,水印用于处理延迟数据。Flink与Kafka集成能保证事件顺序,支持多种连接器如Kafka、JDBC等。其处理延迟数据、乱序事件的能力,以及Exactly-Once语义,使其在大规模数据处理中具有优势。Flink还支持表格API和DataStream API,以及多种容错和性能优化策略。
111 1
Flink常见面试问题(附答案)
|
12天前
|
机器学习/深度学习 分布式计算 BI
Flink实时流处理框架原理与应用:面试经验与必备知识点解析
【4月更文挑战第9天】本文详尽探讨了Flink实时流处理框架的原理,包括运行时架构、数据流模型、状态管理和容错机制、资源调度与优化以及与外部系统的集成。此外,还介绍了Flink在实时数据管道、分析、数仓与BI、机器学习等领域的应用实践。同时,文章提供了面试经验与常见问题解析,如Flink与其他系统的对比、实际项目挑战及解决方案,并展望了Flink的未来发展趋势。附带Java DataStream API代码样例,为学习和面试准备提供了实用素材。
34 0
|
9天前
|
运维 监控 Java
面经:Storm实时计算框架原理与应用场景
【4月更文挑战第11天】本文是关于Apache Storm实时流处理框架的面试攻略和核心原理解析。文章分享了面试常见主题,包括Storm的架构与核心概念(如Spout、Bolt、Topology、Tuple和Ack机制),编程模型与API,部署与运维,以及应用场景与最佳实践。通过代码示例展示了如何构建一个简单的WordCountTopology,强调理解和运用Storm的关键知识点对于面试和实际工作的重要性。
27 4
面经:Storm实时计算框架原理与应用场景
|
13天前
|
分布式计算 资源调度 监控
Hadoop生态系统深度剖析:面试经验与必备知识点解析
本文深入探讨了Hadoop生态系统的面试重点,涵盖Hadoop架构、HDFS、YARN和MapReduce。了解Hadoop的主从架构、HDFS的读写流程及高级特性,YARN的资源管理与调度,以及MapReduce编程模型。通过代码示例,如HDFS文件操作和WordCount程序,帮助读者巩固理解。此外,文章强调在面试中应结合个人经验、行业动态和技术进展展示技术实力。
|
2月前
|
SQL 监控 Java
【极数系列】Flink详细入门教程 & 知识体系 & 学习路线(01)
【极数系列】Flink详细入门教程 & 知识体系 & 学习路线(01)
|
4月前
|
分布式计算 Java API
大数据Flink面试考题___Flink高频考点,万字超全整理(建议)
大数据Flink面试考题___Flink高频考点,万字超全整理(建议)
112 0
|
存储 消息中间件 关系型数据库
三、【计算】Exactly Once 语义在Flink中的实现(下) | 青训营笔记
三、【计算】Exactly Once 语义在Flink中的实现(下) | 青训营笔记
三、【计算】Exactly Once 语义在Flink中的实现(下) | 青训营笔记
|
存储 SQL 算法
三、【计算】Exactly Once 语义在Flink中的实现(上) | 青训营笔记
三、【计算】Exactly Once 语义在Flink中的实现(上) | 青训营笔记
三、【计算】Exactly Once 语义在Flink中的实现(上) | 青训营笔记
|
SQL 数据处理 调度
Exactly Once 语义在 Flink 中的实现|青训营笔记
本篇文章主要讲述了Flink是如何实现在分布式环境下,对于task的处理做到exactly-once的语义的(结合二阶段提交协议)
128 0
Exactly Once 语义在 Flink 中的实现|青训营笔记
|
存储 SQL 分布式计算
Flink 引擎简介 | 青训营笔记
从产品技术来看,Flink 具备如下流计算技术特征:完全一次保证:故障后应正确恢复有状态运算符中的状态;低延迟:越低越好。许多应用程序需要亚秒级延迟;高吞吐量:随着数据速率的增长,通过管道推送大量数据至关重要;强大的计算模型:框架应该提供一种编程模型,该模型不限制用户并允许各种各样的应用程序在没有故障的情况下,容错机制的开销很低;流量控制:来自慢速算子的反压应该由系统和数据源自然吸收,以避免因消费者缓慢而导致崩溃或降低性能;乱序数据的支持:支持由于其他原因导致的数据乱序达到、延迟到达后,计算出正确的结果;完备的流式语义:支持窗口等现代流式处理语义抽象;
185 0
Flink 引擎简介 | 青训营笔记