【Spark Summit East 2017】虚拟化分析,Spark是最好的答案么?

简介: 本讲义出自Arsalan Tavakoli在Spark Summit East 2017上的演讲,主要对于虚拟化分析的技术路线的发展进行了探讨。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps

本讲义出自Arsalan Tavakoli在Spark Summit East 2017上的演讲,主要对于虚拟化分析的技术路线的发展进行了探讨。


对于企业而言,往往希望数据积累的越多,获取的智能也就越多。但是怎样才能做到这一点呢?其实需要依靠三大支撑:数据、分析以及人。面对参差不齐并且传播速度非常快的大量数据,多种多样,越来越复杂的分析手段以及需要涉及更多的人、更多的职责以及人与人之间工作交接的低效的挑战,今天的技术栈足以应对了么?


从最初的数据仓库、到第二代的Hadoop+Data Lake,再到如今,经过了三代技术栈的更新,目前Databricks + Apache Spark成为了最好的解决方案,然而技术还需要不断进步与发展。


a0263ca2857d0968ca271b7e62a104215cb55c99

c5fac30c6814da8dd2b973b5b8bc538a6aa2adb9

6cf7945a3e3857073b71e2e956095aa1da212d73

f1b3f08f4214a5ae15dc33dad9bee89cbddb4932

0795ac9dfb73aa280cdee81712549aebc4dac63c


1ab509b776a4dae9d664d66c9a654a3e0d6adf96

15692d3237c54a8a8e5662972e4066263dabc92d

6ebc2aa6fb5239900adca588598157114bb4b457

9c237def3a42efa78c865a21f4c0674976dbe115

b95d11c5d28c80172a7392b5c421d2ab9e400d70

f160e386635920356732532ce0718d45865a24df

d9fa91f277f907dd4813de734e0d5f489dae94d3

784d9f8f9b9ce2c97a15596b1f6759cc810a8fbc

011c19a1818cba30c5f4cdc4d70703fabd62030e

c3e5f2eeb0e7a6e86436daa770eb36a21fc46ebf






相关文章
|
3月前
|
机器学习/深度学习 SQL 分布式计算
Apache Spark 的基本概念和在大数据分析中的应用
介绍 Apache Spark 的基本概念和在大数据分析中的应用
159 0
|
3月前
|
机器学习/深度学习 SQL 分布式计算
介绍 Apache Spark 的基本概念和在大数据分析中的应用。
介绍 Apache Spark 的基本概念和在大数据分析中的应用。
|
4月前
|
SQL 分布式计算 HIVE
Spark数据倾斜问题分析和解决
Spark数据倾斜问题分析和解决
43 0
|
7月前
|
消息中间件 分布式计算 大数据
大数据Spark实时搜索日志实时分析
大数据Spark实时搜索日志实时分析
137 1
|
1月前
|
SQL 分布式计算 HIVE
Spark读取变更Hudi数据集Schema实现分析
Spark读取变更Hudi数据集Schema实现分析
37 0
|
2月前
|
分布式计算 大数据 Java
Spark 大数据实战:基于 RDD 的大数据处理分析
Spark 大数据实战:基于 RDD 的大数据处理分析
121 0
|
7月前
|
SQL 机器学习/深度学习 分布式计算
Apache Spark 的基本概念和在大数据分析中的应用
Apache Spark 的基本概念和在大数据分析中的应用
|
3月前
|
机器学习/深度学习 数据采集 分布式计算
Spark回归分析与特征工程
Spark回归分析与特征工程
|
4月前
|
分布式计算 BI 双11
StructredStreaming+Kafka+Mysql(Spark实时计算| 天猫双十一实时报表分析)
StructredStreaming+Kafka+Mysql(Spark实时计算| 天猫双十一实时报表分析)
39 0
|
4月前
|
消息中间件 分布式计算 大数据
【大数据技术】Spark+Flume+Kafka实现商品实时交易数据统计分析实战(附源码)
【大数据技术】Spark+Flume+Kafka实现商品实时交易数据统计分析实战(附源码)
70 0