Spark在MaxCompute的运行方式

  1. 云栖社区>
  2. 阿里巴巴大数据 —玩家社区>
  3. 博客>
  4. 正文

Spark在MaxCompute的运行方式

耿江涛 2019-11-28 10:53:38 浏览1808
展开阅读全文

一、Spark系统概述

image

左侧是原生Spark的架构图,右边Spark on MaxCompute运行在阿里云自研的Cupid的平台之上,该平台可以原生支持开源社区Yarn所支持的计算框架,如Spark等。

二、Spark运行在客户端的配置和使用

2.1打开链接下载客户端到本地

http://odps-repo.oss-cn-hangzhou.aliyuncs.com/spark/2.3.0-odps0.30.0/spark-2.3.0-odps0.30.0.tar.gz?spm=a2c4g.11186623.2.12.666a4b69yO8Qur&file=spark-2.3.0-odps0.30.0.tar.gz

2.2将文件上传的ECS上

image

2.3将文件解压

tar -zxvf spark-2.3.0-odps0.30.0.tar.g

网友评论

登录后评论
0/500
评论
耿江涛
+ 关注