相比Spark等传统模式,Flink 和 K8S是怎样的结合

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: Apache Flink 是近年来越来越流行的一款开源大数据计算引擎,它同时支持了批处理和流处理。大数据起源自批处理,Spark最初的定位就是改进Hadoop, 更快速的进行批处理。而Storm擅长的则是进行无状态的流计算(在无状态的流计算领域, 它的延迟是最小的), 进而出现的Flink则是Storm的下一代解决方案。

Apache Flink 是近年来越来越流行的一款开源大数据计算引擎,它同时支持了批处理和流处理。大数据起源自批处理,Spark最初的定位就是改进Hadoop, 更快速的进行批处理。而Storm擅长的则是进行无状态的流计算(在无状态的流计算领域, 它的延迟是最小的), 进而出现的Flink则是Storm的下一代解决方案。它既可以处理stream data也可以处理batch data,可以同时兼顾Spark以及Spark streaming的功能。Flink在运行中主要有三个组件组成,JobClient,JobManager 和 TaskManager。

实时计算产品通常提供两种模式,共享型与独享型。在这样的模式下,用户不需要关心整个集群的运维。开发时,使用Blink SQL,用开箱即用的metric收集和展示。同时,作业的监控和异常时报警,也能得到保证。

新模式Flink on K8S,在功能、引擎和托管模式上,都有变化。

功能上,基于Flink的特性,它的常驻进程,类似于在线业务的App,作业发布后,修改频率比较低。用户在开发控制台提交并控制作业,可使用多样的可插拔的增值功能。

在引擎上,基于开源Flink版本,有了以下改造。提供增量Checkpoint。SQL优化器和执行器的改造更近完善,提供Unified SQL。在Runtime上,提供了一套统一且高效的算子框架,有更加灵活的chaining策略和自定义调度插件。

托管模式采用半托管的方式,集群部署在ECS和K8S上,灵活性也更强。

Flink on K8S,充分利用K8S的优势。K8S 可以很好地集成其他集群维护工具,如监控工具普罗米修斯,同时在资源弹性方面,K8S 可以很方便地进行扩缩容。它的设计初衷,就是为在线应用服务的,设计目标是帮助在线应用更好的发布及管理,同时,很好的实现资源的隔离。更重要的是,发展至今,K8S有了一定的生态优势,也来越多的用户使用,也让这个工具越来越好。

相关实践学习
容器服务Serverless版ACK Serverless 快速入门:在线魔方应用部署和监控
通过本实验,您将了解到容器服务Serverless版ACK Serverless 的基本产品能力,即可以实现快速部署一个在线魔方应用,并借助阿里云容器服务成熟的产品生态,实现在线应用的企业级监控,提升应用稳定性。
云原生实践公开课
课程大纲 开篇:如何学习并实践云原生技术 基础篇: 5 步上手 Kubernetes 进阶篇:生产环境下的 K8s 实践 相关的阿里云产品:容器服务 ACK 容器服务 Kubernetes 版(简称 ACK)提供高性能可伸缩的容器应用管理能力,支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力,打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
相关文章
|
4月前
|
Kubernetes 流计算 容器
在Rancher K8s上部署Flink时,TaskManager连接不上并不断重启可能是由多种原因导致的。
在Rancher K8s上部署Flink时,TaskManager连接不上并不断重启可能是由多种原因导致的。【1月更文挑战第22天】【1月更文挑战第106篇】
64 1
|
2月前
|
Kubernetes 流计算 Perl
在Rancher K8s上部署Flink时,TaskManager连接不上并不断重启可能是由多种原因导致的
在Rancher K8s上部署Flink时,TaskManager连接不上并不断重启可能是由多种原因导致的
39 7
|
20天前
|
分布式计算 大数据 数据处理
【Flink】Flink跟Spark Streaming的区别?
【4月更文挑战第17天】【Flink】Flink跟Spark Streaming的区别?
|
2月前
|
Kubernetes 网络协议 Java
在Kubernetes上运行Flink应用程序时
【2月更文挑战第27天】在Kubernetes上运行Flink应用程序时
38 10
|
3月前
|
SQL 消息中间件 Kubernetes
flink问题之on kubernetes 构建失败如何解决
Apache Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。本合集提供有关Apache Flink相关技术、使用技巧和最佳实践的资源。
53 1
|
3月前
|
SQL Kubernetes Java
Flink构建问题之flink 1.11 on kubernetes构建失败如何解决
Apache Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。本合集提供有关Apache Flink相关技术、使用技巧和最佳实践的资源。
|
3月前
|
分布式计算 资源调度 监控
Spark学习--1、Spark入门(Spark概述、Spark部署、Local模式、Standalone模式、Yarn模式)(一)
Spark学习--1、Spark入门(Spark概述、Spark部署、Local模式、Standalone模式、Yarn模式)(一)
|
3月前
|
Kubernetes Java Apache
Flink问题之托管Kubernetes报错如何解决
Apache Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。本合集提供有关Apache Flink相关技术、使用技巧和最佳实践的资源。
28 1
|
4月前
|
分布式计算 Kubernetes Java
spark on k8s native
spark on k8s native
|
4月前
|
Kubernetes 流计算 Docker
要将Flink CDC 3.0部署到Kubernetes上
【1月更文挑战第24天】【1月更文挑战第119篇】要将Flink CDC 3.0部署到Kubernetes上
87 2