【Spark Summit East 2017】Ernest:基于Spark的性能预测大规模分析框架

简介: 本讲义出自Shivaram Venkataraman在Spark Summit East 2017上的演讲,近期使用Spark进行机器学习,基因组学和科学分析呈现增长的趋势,然而将这些应用部署在云计算平台上是有一定挑战性的,而应对上述挑战的关键在于有能力预测的应用程序在保持高性能的状态下所需要的资源配置,这样就可以自动选择最优配置。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps


本讲义出自Shivaram Venkataraman在Spark Summit East 2017上的演讲,近期使用Spark进行机器学习,基因组学和科学分析呈现增长的趋势,然而将这些应用部署在云计算平台上是有一定挑战性的,而应对上述挑战的关键在于有能力预测的应用程序在保持高性能的状态下所需要的资源配置,这样就可以自动选择最优配置。本讲义主要介绍了Ernest——性能预测大规模分析的框架。


db47ede01f502ed0e1880cb8009c20a0d1a2ce82

4ec09c23b5b97c201d5ad8500f1416f63a96086a

a4df004465122253d4fbff1034a95fd68c22c038

e228384f66a8ff9a4b4768ebbcd6cd63f3722c30

ec201c397c8b9df566f708e77131f1ced32d9c29

b7574a22585b0c2972a44730746144afed50b642

ad8c2da3d1f6467f8b565763c5d4886130224dba

f5ae8be3c355897a476a0d0ca020a6455026d581

97cc22fd1a3c42bbd445e5b11d82fc9c9a689b63

e0ba40062967b9ff6288e5ff2a4cc9ae3a7c4f0f

b411fb650b8c8f4e115d13c3bfc51eca9dedcbbd

184574876c472a25acc5c7556d04da0395afe0e9

3470ba9bc4b70403960a4384100d04d8bb87162b

4947a83c90b5a0c9d1d98a2f435ede1dccb8ba4a

190034bd3add12509cc59a75679af735a2ff15ad

fbbf2574d5fe1289c79833bc18f4e3db0127153e

2ce83482db6ddf485bdf620bcd19de9e59439d93

2b44da0b96ee30c27263b3108bdecb241aef65ed

7714cec67322632d9f7dda44582384ceb77d8fb3

dc20e39ec68e8c1330be97be04498750de71f870

4fb4ff2362dae0ac5be08749f7ce41eb59a9b71e

b264c154a4963ccf4c73b3e88de16b9d59f3a6fb

5e63a45304edd67bed94d071575f9e2eb3f39b03

725065175dd499454cd6b2df6c617c400f7955fb

dd94f7186d55cf69ab17a5301b462f9cd849a57c

9fd2fe644054fe8915b3e86e05afb3ae0df57987

f44df712835967c23804b48ef464fb3761d7a0d2

33c03f3bc399499ff664e2cd355505da19488ac0

4e759ae808421984cef5a2a45141fd36ec5e10e5

0ce5296f5170c74b14a74b8429e6e539067593ce

e40b154e1f6676f38addbd518b7804c3709980a4

4f059a07e9150e21cb173b4df3d920a5c1cc7cdc

70a0dafbf5402eb6a309bdf072c1f1281c1d6021

e43d2f0f29edd14546493be4e9d9915902546b80

c30705b3882f7b6d2988744b13d1093a12e25bce

相关文章
|
7月前
|
SQL 分布式计算 大数据
大数据Spark框架概述
大数据Spark框架概述
159 0
|
3月前
|
缓存 分布式计算 监控
Spark RDD操作性能优化技巧
Spark RDD操作性能优化技巧
|
3月前
|
存储 缓存 分布式计算
Spark RDD持久化与缓存:提高性能的关键
Spark RDD持久化与缓存:提高性能的关键
|
3月前
|
分布式计算 Java 调度
Spark中的Shuffle过程是什么?为什么它在性能上很关键?
Spark中的Shuffle过程是什么?为什么它在性能上很关键?
25 0
|
4月前
|
分布式计算 Hadoop Java
Spark_Day01:Spark 框架概述和Spark 快速入门
Spark_Day01:Spark 框架概述和Spark 快速入门
51 0
|
6月前
|
SQL 分布式计算 算法
【大数据处理框架】Spark大数据处理框架,包括其底层原理、架构、编程模型、生态圈
【大数据处理框架】Spark大数据处理框架,包括其底层原理、架构、编程模型、生态圈
219 0
|
8月前
|
消息中间件 SQL 分布式计算
Spark分布式计算框架之SparkStreaming+kafka
Spark分布式计算框架之SparkStreaming+kafka
78 0
|
SQL 存储 分布式计算
Storm与Spark、Hadoop三种框架对比
Storm与Spark、Hadoop这三种框架,各有各的优点,每个框架都有自己的最佳应用场景。所以,在不同的应用场景下,应该选择不同的框架。
392 0
Storm与Spark、Hadoop三种框架对比
|
9月前
|
消息中间件 SQL 分布式计算
Spark Streaming实时计算框架
Spark Streaming实时计算框架
Spark Streaming实时计算框架
|
11月前
|
分布式计算 算法 大数据
T-thinker | 继MapReduce, Apache Spark之后的下一代大数据并行编程框架
T-thinker | 继MapReduce, Apache Spark之后的下一代大数据并行编程框架
107 0