Spark Operator浅析

  1. 云栖社区>
  2. Apache Spark中国技术社区>
  3. 博客>
  4. 正文

Spark Operator浅析

阿里云E-MapReduce团队 2019-11-12 22:28:51 浏览7402
展开阅读全文

本文作者: 林武康(花名:知瑕),阿里巴巴计算平台事业部技术专家,Apache HUE Contributor, 参与了多个开源项目的研发工作,对于分布式系统设计应用有较丰富的经验,目前主要专注于EMR数据开发相关的产品的研发工作。

本文介绍Spark Operator的设计和实现相关的内容.

Spark运行时架构

经过近几年的高速发展,分布式计算框架的架构逐渐趋同. 资源管理模块作为其中最通用的模块逐渐与框架解耦,独立成通用的组件.目前大部分分布式计算框架都支持接入多款不同的资源管理器. 资源管理器负责集群资源的管理和调度,为计算任务分配资源容器并保证资源隔离.Apache Spark作为通用分布式计算平台,目前同时支持多款资源管理器,包括:

  • YARN
  • Mesos
  • Kubernetes(K8s)
  • Spark Standalone(自带的资源管

网友评论

登录后评论
0/500
评论
阿里云E-MapReduce团队
+ 关注
所属团队号: Apache Spark中国技术社区