【Spark Summit EU 2016】规模不断扩展的服务器集群上Spark的性能表征

简介: 本讲义出自Ahsan Javed Awan在Spark Summit EU 2016上的演讲,主要介绍了在服务器集群的规模不断扩展的状态下,如何获取运行于服务器集群上的Spark的性能指标并对于性能进行优化,并分享了为了使得架构设计能够提升节点级别的性能表现,该如何确定衡量指标,以及如何设计可扩展的架构。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps

本讲义出自Ahsan Javed Awan在Spark Summit EU 2016上的演讲,主要介绍了在服务器集群的规模不断扩展的状态下,如何获取运行于服务器集群上的Spark的性能指标并对于性能进行优化,并分享了为了使得架构设计能够提升节点级别的性能表现,该如何确定衡量指标,以及如何设计可扩展的架构。


dc240a591b2c3994b985c5e7be14ac8b8cb81860

7d89ededff0682974d181828a6b3d61f315b61dc

24459cf8773ee24a452946989bba1809d01c66d6

fb95b74daed5896ab6be7f03dfd951a339490a6d

9558f8af17425f972bb3f790f8313eae8dde5b9e

27586bf93dbb9603c839b07941189daba9693f54

857968ac066384ba909838be01f943919f547ff5

a4e49194c50bc8fe60baae2ab9b9417d2df3aae1

77966d76ca517e5c2ac0394035efa888a66d7963

d92017372d85f7bfc48e42ab88dea18daa192686e356387f31a286c6f2816f049cbbd54c491104b8e127e5fb67a1245d8ad84d70ab49c3be2574bf5a07dd6273df43b4115705f9f2b8af3b96f8a000c46b45f8d127e64206edeecacd69435ec12b4094dc7385431df3397b7e56ba8887413e3870c9817d2c

f4981d721031f6c5a9592570d0c5124dbb453af9

7c42119ea201a626942242afce2dbe44829ba4e5

84c4ebc0fb1f4b6046b2e68adac63cb92684c51a

f75149700b886a6c75782093e02a10c6665fe8b6

ac1f915cfbf44ad07cb325250cf90768d1fcc267

1a718e59a6c6e4d986392faf19eb790241376772

41beb67b46f452fd4d9fd881e0408b1d4f8a6fac

7693e0c5704a558b56a1785daeb61ba0d1b260f2

0569ec26e2d9789e7b334c21123e26f839aeaabb

02296113dbb17192af8b216738ee05a9970ff13d

673656012a3d66634f21dcaa26767b05111cf940

6258e6af1f6a18dcf3c322769f617b97e677af2b

aba605c785b43f581b08d9cec9b0513a9579eafd

d0502f9f2e6a2b6ed701bd51d65b935c8eb4c6f7

相关文章
|
7月前
|
分布式计算 API 流计算
22MyCat - Spark/Storm 对join扩展(简略)
22MyCat - Spark/Storm 对join扩展(简略)
31 0
|
4月前
|
SQL 分布式计算 测试技术
使用UDF扩展Spark SQL
使用UDF扩展Spark SQL
|
4月前
|
缓存 分布式计算 监控
Spark RDD操作性能优化技巧
Spark RDD操作性能优化技巧
|
4月前
|
存储 缓存 分布式计算
Spark RDD持久化与缓存:提高性能的关键
Spark RDD持久化与缓存:提高性能的关键
|
4月前
|
分布式计算 Java 调度
Spark中的Shuffle过程是什么?为什么它在性能上很关键?
Spark中的Shuffle过程是什么?为什么它在性能上很关键?
29 0
|
SQL 存储 分布式计算
Spark强大的函数扩展功能
Spark强大的函数扩展功能
|
分布式计算 资源调度 Kubernetes
Spark 集群搭建_Spark 集群结构_扩展|学习笔记
快速学习 Spark 集群搭建_Spark 集群结构_扩展
129 0
Spark 集群搭建_Spark 集群结构_扩展|学习笔记
|
机器学习/深度学习 SQL 分布式计算
客户流失?来看看大厂如何基于spark+机器学习构建千万数据规模上的用户留存模型 ⛵
如何在海量用户中精准预测哪些客户即将流失?本文结合音乐流媒体平台 Sparkify 数据,详细讲解一个客户流失建模预测案例的全流程:探索性数据分析 EDA、数据处理、进一步数据探索、建模优化、结果评估。【代码与数据集亲测可运行】
5028 3
客户流失?来看看大厂如何基于spark+机器学习构建千万数据规模上的用户留存模型 ⛵
|
SQL 分布式计算 Spark
SPARK SQL中 CTE(with表达式)会影响性能么?
SPARK SQL中 CTE(with表达式)会影响性能么?
587 0
SPARK SQL中 CTE(with表达式)会影响性能么?
|
SQL 缓存 分布式计算
Spark性能调优与故障处理
Spark性能调优 Spark数据倾斜 Spark Troubleshooting
460 0