【Spark Summit East 2017】Ernest:基于Spark的性能预测大规模分析框架

简介: 本讲义出自Shivaram Venkataraman在Spark Summit East 2017上的演讲,近期使用Spark进行机器学习,基因组学和科学分析呈现增长的趋势,然而将这些应用部署在云计算平台上是有一定挑战性的,而应对上述挑战的关键在于有能力预测的应用程序在保持高性能的状态下所需要的资源配置,这样就可以自动选择最优配置。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps


本讲义出自Shivaram Venkataraman在Spark Summit East 2017上的演讲,近期使用Spark进行机器学习,基因组学和科学分析呈现增长的趋势,然而将这些应用部署在云计算平台上是有一定挑战性的,而应对上述挑战的关键在于有能力预测的应用程序在保持高性能的状态下所需要的资源配置,这样就可以自动选择最优配置。本讲义主要介绍了Ernest——性能预测大规模分析的框架。


db47ede01f502ed0e1880cb8009c20a0d1a2ce82

4ec09c23b5b97c201d5ad8500f1416f63a96086a

a4df004465122253d4fbff1034a95fd68c22c038

e228384f66a8ff9a4b4768ebbcd6cd63f3722c30

ec201c397c8b9df566f708e77131f1ced32d9c29

b7574a22585b0c2972a44730746144afed50b642

ad8c2da3d1f6467f8b565763c5d4886130224dba

f5ae8be3c355897a476a0d0ca020a6455026d581

97cc22fd1a3c42bbd445e5b11d82fc9c9a689b63

e0ba40062967b9ff6288e5ff2a4cc9ae3a7c4f0f

b411fb650b8c8f4e115d13c3bfc51eca9dedcbbd

184574876c472a25acc5c7556d04da0395afe0e9

3470ba9bc4b70403960a4384100d04d8bb87162b

4947a83c90b5a0c9d1d98a2f435ede1dccb8ba4a

190034bd3add12509cc59a75679af735a2ff15ad

fbbf2574d5fe1289c79833bc18f4e3db0127153e

2ce83482db6ddf485bdf620bcd19de9e59439d93

2b44da0b96ee30c27263b3108bdecb241aef65ed

7714cec67322632d9f7dda44582384ceb77d8fb3

dc20e39ec68e8c1330be97be04498750de71f870

4fb4ff2362dae0ac5be08749f7ce41eb59a9b71e

b264c154a4963ccf4c73b3e88de16b9d59f3a6fb

5e63a45304edd67bed94d071575f9e2eb3f39b03

725065175dd499454cd6b2df6c617c400f7955fb

dd94f7186d55cf69ab17a5301b462f9cd849a57c

9fd2fe644054fe8915b3e86e05afb3ae0df57987

f44df712835967c23804b48ef464fb3761d7a0d2

33c03f3bc399499ff664e2cd355505da19488ac0

4e759ae808421984cef5a2a45141fd36ec5e10e5

0ce5296f5170c74b14a74b8429e6e539067593ce

e40b154e1f6676f38addbd518b7804c3709980a4

4f059a07e9150e21cb173b4df3d920a5c1cc7cdc

70a0dafbf5402eb6a309bdf072c1f1281c1d6021

e43d2f0f29edd14546493be4e9d9915902546b80

c30705b3882f7b6d2988744b13d1093a12e25bce

相关文章
|
3月前
|
机器学习/深度学习 SQL 分布式计算
Apache Spark 的基本概念和在大数据分析中的应用
介绍 Apache Spark 的基本概念和在大数据分析中的应用
157 0
|
3月前
|
机器学习/深度学习 SQL 分布式计算
介绍 Apache Spark 的基本概念和在大数据分析中的应用。
介绍 Apache Spark 的基本概念和在大数据分析中的应用。
|
4月前
|
SQL 分布式计算 HIVE
Spark数据倾斜问题分析和解决
Spark数据倾斜问题分析和解决
42 0
|
7月前
|
SQL 分布式计算 大数据
大数据Spark框架概述
大数据Spark框架概述
157 0
|
7月前
|
消息中间件 分布式计算 大数据
大数据Spark实时搜索日志实时分析
大数据Spark实时搜索日志实时分析
136 1
|
1月前
|
SQL 分布式计算 HIVE
Spark读取变更Hudi数据集Schema实现分析
Spark读取变更Hudi数据集Schema实现分析
31 0
|
2月前
|
分布式计算 大数据 Java
Spark 大数据实战:基于 RDD 的大数据处理分析
Spark 大数据实战:基于 RDD 的大数据处理分析
120 0
|
7月前
|
SQL 机器学习/深度学习 分布式计算
Apache Spark 的基本概念和在大数据分析中的应用
Apache Spark 的基本概念和在大数据分析中的应用
|
3月前
|
机器学习/深度学习 数据采集 分布式计算
Spark回归分析与特征工程
Spark回归分析与特征工程
|
3月前
|
缓存 分布式计算 监控
Spark RDD操作性能优化技巧
Spark RDD操作性能优化技巧