备案控制台
探索云世界
开发者社区 大数据 文章 正文

【Spark Summit East 2017】教会Spark集群弹性管理Worker

2017-02-18 1721
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自Erik Erlandson与Trevor McKay 在Spark Summit East 2017上的演讲，主要介绍了将Openshift Origin作为实验室，实现了Spark能够创建自己的集群并且动态管理API的平台，还分享了如何充分利用Kubernetes生态系统中的API启用应用程序进行弹性部署。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。


本讲义出自Erik Erlandson与Trevor McKay 在Spark Summit East 2017上的演讲，主要介绍了将Openshift Origin作为实验室，实现了Spark能够创建自己的集群并且动态管理API的平台，还分享了如何充分利用Kubernetes生态系统中的API启用应用程序进行弹性部署。


3e547eba0020c8efbffbbb54c4387d7d89e1b9a4

60357c1efa5fa8a00272b5ee668499f47d86219e

d4895c29aefac23b33e6be60f157892578d56a26

14f6b360a21ac39cfbc46c167c072392e0dded44

6bf9be418ce798e021a8902a11838ba149eac45e

5c30046ac94a25bb42a2c70d27aa5380a2117cca


36c458cc90b361b4c4ba5f0e6aea7143ec69cb10

d6a07f7e4dc750c1abd2f2b2ac4f309183e29d53

75f9996d0a74610842b3a73be97de8a78d89816f

ac9255af6d3ffdf774fdf781a7dd732946328753

79e4c4d4ba09a126ba85f96b50c79cbf63d78c34

d0ae70d753453ea03ca37a553d562f7651ff55fd

a94a0969e206d045c4df28a31c8c8f2a0fbf1dfa

77c080c0334239fdde50e9ed3e589a8a53b239b9

9c08db811b013eac4dc274da1ccec13049247f2f

f4b77635e3b20dc6648d062b10574cc71b03a1f4

be613859ec04a2d9c73e9513694e45e2ab4e3680

8855ce9f6972783b9342c483e65061d535d77743

6baad3ff579e1ab3913765df80c99b6f4dc1db91

f872034dcecfd8b511bf436b86dcd28b31f2ef2a

c61cc08366fede73949d5bc4134da22b2b3d1803

273b63d55e9dab2fd41494b85794285336b30321

3679f54ccbc9c49be97ffc65053f41d83e1aea9b

834fd5c070ed7afec1769f3e152c8e8d6b080908

45524d8e9a518196359e621a1cad48582c542391

18483ee2b502777682bd2e2797c47c60615700e1

b439307c071a22bbb72a41583ed1ae82b04407c9

39a4d0a318136fafe498f84dfbcc254db3fd502e

2dde9bf7917d06e98694596210330b3a7c75215b

a7412d425b74911badecdbe0b6608dafe1bd494a

69f0323ec1033b4a77d900c52a6e009c82bc8281

8e7bf8e9e76004f420efb6f7a69565eb4f569689

93a4ee381fb5b615bad548f13e42cf0683cf2db5


文章标签：
API
大数据
分布式计算
Spark
关键词：
apache spark集群
apache spark管理
apache spark弹性
apache spark worker
apache spark summit
小猫吃鱼569
目录
相关文章
阿甘兄
|
5月前
|
分布式计算 Linux Spark
179 Spark集群安装
179 Spark集群安装
阿甘兄
36 0
赵广陆
|
7月前
|
存储 分布式计算 关系型数据库
大数据Spark偏移量管理
大数据Spark偏移量管理
赵广陆
33 1
Maynor
|
4月前
|
分布式计算 监控 Java
Note_Spark_Day02：Standalone集群模式和使用IDEA开发应用程序
Note_Spark_Day02：Standalone集群模式和使用IDEA开发应用程序
Maynor
51 0
程序员朱永胜
|
7月前
|
分布式计算 大数据 Spark
基于Docker搭建大数据集群（四）Spark部署
基于Docker搭建大数据集群（四）Spark部署
程序员朱永胜
167 1
jerrywangsap
|
2月前
|
分布式计算 数据处理 Scala
Spark 集群和 Scala 编程语言的关系
Spark 集群和 Scala 编程语言的关系
jerrywangsap
29 0
北惜
|
6月前
|
分布式计算 资源调度 Hadoop
Spark on Yarn集群模式搭建及测试
Spark on Yarn集群模式搭建及测试
北惜
156 0
赵广陆
|
7月前
|
分布式计算 资源调度 监控
Spark Yarn模式部署集群
Spark Yarn模式部署集群
赵广陆
49 1
赵广陆
|
7月前
|
分布式计算 监控 大数据
大数据Spark Standalone集群 2
大数据Spark Standalone集群
赵广陆
44 0
赵广陆
|
7月前
|
存储 分布式计算 资源调度
大数据Spark Standalone集群 1
大数据Spark Standalone集群
赵广陆
63 0
灵杰开发者
|
8月前
|
存储 分布式计算 Apache
Apache Celeborn 让 Spark 和 Flink 更快更稳更弹性
阿里云/数据湖 Spark 引擎负责人周克勇（一锤）在 Streaming Lakehouse Meetup 的分享。
灵杰开发者
747 2
Apache Celeborn 让 Spark 和 Flink 更快更稳更弹性

热门文章

最新文章

  • 1
    【Flink】Flink跟Spark Streaming的区别？
  • 2
    大数据技术与Python：结合Spark和Hadoop进行分布式计算
  • 3
    Paimon与Spark
  • 4
    Spark【环境搭建 01】spark-3.0.0-without 单机版（安装+配置+测试案例）
  • 5
    bigdata-36-Spark转换算子与动作算子
  • 6
    图解大数据 | 使用Spark分析新冠肺炎疫情数据@综合案例
  • 7
    Spark 源码分析 -- BlockStore
  • 8
    BR-MLP基于spark+Hadoop分布式数据挖掘解决方案功能剖析
  • 9
    地铁译：Spark for python developers --- 搭建Spark虚拟环境3
  • 10
    Spark RDD类源码阅读
  • 1
    Spark学习---SparkSQL（概述、编程、数据的加载和保存、自定义UDFA、项目实战）
    106
  • 2
    安装Spark
    35
  • 3
    Spark学习---day07、Spark内核（Shuffle、任务执行）
    41
  • 4
    Spark读取变更Hudi数据集Schema实现分析
    37
  • 5
    实战|使用Spark Streaming写入Hudi
    41
  • 6
    adb spark的lakehouse api访问内表数据，还支持算子下推吗
    107
  • 7
    Spark学习---day06、Spark内核（源码提交流程、任务执行）
    41
  • 8
    Spark学习--day05、SparkCore电商网站实操、SparkCore-工程代码
    66
  • 9
    Spark【Spark学习大纲】简介+生态+RDD+安装+使用（xmind分享）
    32
  • 10
    Spark【基础知识 03】【RDD常用算子详解】（图片来源于网络）
    57

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive

    • 相关实验场景

    更多
  • 搭建Hadoop环境
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）