【Spark Summit EU 2016】Spark Steaming + 动态配置+动态分配构建弹性流计算

简介: 本讲义出自Shaun Klopfenstein和Neelesh Shastry在Spark Summit EU上的演讲,主要介绍了为了面对当前大数据分析的业务需求和SaaS需求,使用Spark Steaming的优势所在,以及为了应对Spark+Kafka所带来的挑战,所设计出的Marketo框架。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps

本讲义出自Shaun Klopfenstein和Neelesh Shastry在Spark Summit EU上的演讲,主要介绍了为了面对当前大数据分析的业务需求和SaaS需求,使用Spark Steaming的优势所在,以及为了应对Spark+Kafka所带来的挑战,所设计出的Marketo框架。并且分享了Marketo框架强大的动态配置能力、偏移管理、多租户DStream以及动态资源分配的能力。


9d3e986b51573e9e1c5d798a7dfd8b87c976d54e

55c3fca41f954bb273b201e0ba84042e21a01353

e5e32959aa9d3ed6cd257821f7aae722a9778557

db7890043c53ef2e7c81d4751cd6008c760be1ac

4a6a24a980d2e69637455829fdcee961647746d6

df26f28b27255ba203c72d5b910b3eef3439e2c6

0a897712108acec546051d8d0a1701786e549a4d

4df7a4ea274541c9e646cf768295637e2008279a

96eccea63ef9106a7b7a0e72ac043d62e509935c

5b6431f11eb822c27e261a8e7cf4f0e9f2ee3810

d8d4ecc73c7a5260c0da4c96a11aebbbe528df22

46cd1f9a7093597fc6765c21c26d6e9a36b64125

2e443e303112c4f4a4aac23f711e7825ab469c6e

6a76902fa12b5eb3a5e8ec0b29a073dda502e0f4

c6c6aa489d165ff282d3f660e6a9977b7f1fe66a

3ed53615c9bfd908836ea8c22ee524485e16f615

e6eb0c497f84b06161253e5786e851bfaf305a03

84544245324b25b1494fff55ee256cd4fa8d50d5

7902c5ae1152e01ead3478797cd872218b5f4c6e

d7e8a0acd5a5828ba6b35d4b7555305105a499af

478c8d386fcb838cf6119d351a1caf4639ff83bd

cc85e6671200b579da982c7e7e52fdc9ca9f4bc8

3c921825cb99b8b3339f4ab7c7bee3cfe51e96fb

9a5925d6f5c00a16f93d1f0a77551f7669f53016

f41a8d8dcb0919ff5253546e40cb5a508f30cf74

4dd144d49bbd68d336e813524834f577924168a4

2e331cf49e5f07013d178fd099f896a89acd1402

314bb8b6a3b9f8fc354f8c5b339c33489cc7d6be



相关文章
|
4月前
|
机器学习/深度学习 SQL 分布式计算
Apache Spark 的基本概念和在大数据分析中的应用
介绍 Apache Spark 的基本概念和在大数据分析中的应用
162 0
|
28天前
|
分布式计算 Hadoop 大数据
大数据技术与Python:结合Spark和Hadoop进行分布式计算
【4月更文挑战第12天】本文介绍了大数据技术及其4V特性,阐述了Hadoop和Spark在大数据处理中的作用。Hadoop提供分布式文件系统和MapReduce,Spark则为内存计算提供快速处理能力。通过Python结合Spark和Hadoop,可在分布式环境中进行数据处理和分析。文章详细讲解了如何配置Python环境、安装Spark和Hadoop,以及使用Python编写和提交代码到集群进行计算。掌握这些技能有助于应对大数据挑战。
|
4月前
|
机器学习/深度学习 SQL 分布式计算
介绍 Apache Spark 的基本概念和在大数据分析中的应用。
介绍 Apache Spark 的基本概念和在大数据分析中的应用。
|
11天前
|
分布式计算 DataWorks 大数据
MaxCompute操作报错合集之大数据计算的MaxCompute Spark引擎无法读取到表,是什么原因
MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。
MaxCompute操作报错合集之大数据计算的MaxCompute Spark引擎无法读取到表,是什么原因
|
16天前
|
分布式计算 大数据 数据处理
[AIGC大数据基础] Spark 入门
[AIGC大数据基础] Spark 入门
141 0
|
3月前
|
分布式计算 大数据 Java
Spark 大数据实战:基于 RDD 的大数据处理分析
Spark 大数据实战:基于 RDD 的大数据处理分析
137 0
|
4月前
|
分布式计算 监控 大数据
Spark RDD分区和数据分布:优化大数据处理
Spark RDD分区和数据分布:优化大数据处理
|
5月前
|
分布式计算 大数据 Linux
Python大数据之PySpark(三)使用Python语言开发Spark程序代码
Python大数据之PySpark(三)使用Python语言开发Spark程序代码
118 0
|
5月前
|
SQL 分布式计算 大数据
Hudi数据湖技术引领大数据新风口(三)解决spark模块依赖冲突
Hudi数据湖技术引领大数据新风口(三)解决spark模块依赖冲突
106 0
|
5月前
|
分布式计算 资源调度 大数据
大数据开发岗面试复习30天冲刺 - 日积月累,每日五题【Day30】——Spark数据调优(文末附完整文档)
大数据开发岗面试复习30天冲刺 - 日积月累,每日五题【Day30】——Spark数据调优(文末附完整文档)
69 0