【Spark Summit East 2017】Spark中的容错:从生产实践中获取的经验

简介: 本讲义出自Jose Soltren在Spark Summit East 2017上的演讲,主要介绍了Spark容错中的螺母和螺栓,他首先简述了Spark中的各种容错机制,然后讨论了YARN上的Spark、调度与资源分配,在演讲中还对于一些用户案例进行了探讨研究并给出了一些需要的工具,最后分享了未来Spark中容错未来的发展方向比如调度器和检查点的变化。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps


本讲义出自Jose Soltren在Spark Summit East 2017上的演讲,主要介绍了Spark容错中的螺母和螺栓,他首先简述了Spark中的各种容错机制,然后讨论了YARN上的Spark、调度与资源分配,在演讲中还对于一些用户案例进行了探讨研究并给出了一些需要的工具,最后分享了未来Spark中容错未来的发展方向比如调度器和检查点的变化。


eda36212c56a131101de1d93f8388de93d3bcd7f

1bc27318154d3e50eaafc51ba0ccd3ea09eb139d

b486c25feca26c9c9df65ceeff3ab583e27db972

052b9cb7ae278bc92e94ec51ac1addb81b319052

99e29d29550a86908023b807c86e5c68a8833a41

686df38703cefc8673fe1ce7902ddb89f6e30975

e0d5fc459c5cb3b32a9677ef4a45a5ca0b3804e1

852eac129bbcc1e04b97988f66791ceada022a1f

04bd88b6fef6132011d297efce33513596704d4e

858dbea2077386db0570054f25ef8904aabc301c

061d33b2268a781b4ec580706049aab2f67cc005

3cc6ef37f1f171a58d04488868dd066ebec5e03b

826273977cc0d1a01cf84237c4bd84f05b02f359

b35c9991e1e2ce89b6056650ce913bd4a8d9d595

5a7c47c25f86581254b2e38bd2ad57faa3e2831d

695cc106a81a404fcda585ed617fd79a8576f2c5

708cdaee506831f6fdfdfebd8e9e66176443bbca

5b28f643a33c256257a68c5519577c5d8781db9e

d744e673a649527a513d1fb70477427cb1bd6d5b

194325a279f1d472935868ce25df79160355b636

84ae58927d8ad85e673a5d959ece3fadb094cb7e

0468f5a8a050b8be0a09de95a2639b3d9afc29e3

f19314279b84f6537e9343dd76c33827753abdde

f55462edabdf8a94447d0653237de0982e98b4b7

a3f650eb01f3304861bd13cb2c4b1b81daf20715

相关文章
|
4月前
|
存储 分布式计算 大数据
【大数据技术Hadoop+Spark】Spark RDD设计、运行原理、运行流程、容错机制讲解(图文解释)
【大数据技术Hadoop+Spark】Spark RDD设计、运行原理、运行流程、容错机制讲解(图文解释)
67 0
|
消息中间件 存储 缓存
|
分布式计算 大数据 Spark
Spark 操作算子本质、RDD 容错_1 | 学习笔记
快速学习 Spark 操作算子本质、RDD 容错_1
103 0
Spark 操作算子本质、RDD 容错_1 | 学习笔记
|
人工智能 分布式计算 Spark
SPARK + AI SUMMIT 2020 中文精华版线上峰会材料
SPARK + AI SUMMIT 2020 中文精华版线上峰会材料
SPARK + AI SUMMIT 2020 中文精华版线上峰会材料
|
机器学习/深度学习 人工智能 分布式计算
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月5日议题
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月5日议题介绍
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月5日议题
|
分布式计算 Prometheus Kubernetes
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月4日上午议题
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月4日上午议题发布
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月4日上午议题
|
SQL 人工智能 缓存
Spark 10年,作者 Matei 在 Spark + AI Summit 2020 上深情回顾,Photon 引擎首次曝光
在Spark + AI Summit 2020上, Matei 先生的keynote对 Spark 10 年做了非常精彩的演讲和深情的回顾。SparkSQL 重回巅峰,在性能上大幅超越 Presto。在过去几年,我们见过了太多的 benchmark,大家都在纷纷超越 Spark。Spark 3.0 这一进展可以说大大提振了大家对 Spark 的信心,可谓及时雨。
Spark 10年,作者 Matei 在 Spark + AI Summit 2020 上深情回顾,Photon 引擎首次曝光
|
消息中间件 存储 机器学习/深度学习
|
人工智能 分布式计算 大数据
Spark + AI Summit 2020 中文议题有奖征集
北美 Spark + AI Summit 2020 盛会在即,Apache Spark 中国技术交流社区在此诚邀各位,代表国内开发者选择您最希望听到的主题,届时社区将联合国内顶尖技术专家一一展开中文形式分享。
Spark + AI Summit 2020 中文议题有奖征集