【Spark Summit EU 2016】快速数据处理最佳拍档:Spark+ Ignite

简介: 本讲义出自Christos Erotocritou在Spark Summit EU 2016上的演讲,主要介绍了Apache的通用数据库缓存系统——Ignite项目,Apache Ignite允许用户将常用的热数据储存在内存中,它支持分片和复制两种方式,让开发者可以均匀地将数据分布式到整个集群的主机上。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps

本讲义出自Christos Erotocritou在Spark Summit EU 2016上的演讲,主要介绍了Apache的通用数据库缓存系统——Ignite项目,Apache Ignite允许用户将常用的热数据储存在内存中,它支持分片和复制两种方式,让开发者可以均匀地将数据分布式到整个集群的主机上。同时,Ignite还支撑任何底层存储平台,不管是RDBMS、NoSQL,又或是HDFS。


除此之外,Christos Erotocritou还介绍了Hadoop与Spark进行集成以及Spark与Ignite集成,以及内存文件系统等相关内容。


6e75de8dca6bd08ad11e8dcd8aa74f0cfe7002fe

25b2cbf83ee92e5a6bb29b4179f2a0dd57f2b087

08113c564610043caa32a347d65b293c9582cf9c

d5695a2b1103f4d53b87c9022e43530de666ae83

7aea63c67a613385084a7a1afd957e3b3287a249

4bb63c3b4b4e47d939236612a869ea73400bc240

1fc9f67f386caf527afd178510681b71b20203cd

55de5115ca9f74abfd80f41fdf6d2304b72a6ac2

61f2e08aa44e0989a2bb985231d37f30407cce42

6db1ac46ea471b1a6d5de5568e141c6f00287c5c

ebd41cd9ac16a7df66601c8644636f54ed08e091

759a906d4ad2bf2c379a562c51f5bc860e9012d4

f27eb007cc999f8a22e4b76b724b1a4a3d621891

a633bc3c01070a1a4641b159a554c5d70f0862b2

d8072ae9c31fce5ac26b7ee40ff77eee0af439c5

a729e500f0a15a579be6ef5b5cb3c176e01ada88

652f05a263042ec0ef63b770f72c87dd3cc7ab5c

31c76c9a4af5611a366cab4098f9aea3c8315287

184a9ad09f9e3a874540df38eb2c996f7ca47b76

ff31cff2c510ad6cb812db069b7af8fd47cf90ab

9cb8d10a0442bc8ce63df0c6bf238f302b637f7b

22458b55e117110cc04adb9c73b5da6f58e57cd5

c87b4775686859b1a643e611cca5eecb37b46f2f

1f101d4a49466426c79a637dd479ca60e7ac6b82

8f25a3cd68ae83cac986f3268f26c307720c83a6

相关文章
|
3月前
|
分布式计算 Hadoop 关系型数据库
Sqoop与Spark的协作:高性能数据处理
Sqoop与Spark的协作:高性能数据处理
Sqoop与Spark的协作:高性能数据处理
|
3月前
|
消息中间件 分布式计算 Kafka
Spark与Kafka的集成与流数据处理
Spark与Kafka的集成与流数据处理
|
3月前
|
分布式计算 监控 数据处理
实时数据处理概述与Spark Streaming简介
实时数据处理概述与Spark Streaming简介
|
9月前
|
分布式计算 Hadoop Java
Hadoop生态系统中的流式数据处理技术:Apache Flink和Apache Spark的比较
Hadoop生态系统中的流式数据处理技术:Apache Flink和Apache Spark的比较
|
分布式计算 数据处理 分布式数据库
《基于HBase和Spark构建企业级数据处理平台》电子版地址
基于HBase和Spark构建企业级数据处理平台
88 0
《基于HBase和Spark构建企业级数据处理平台》电子版地址
|
分布式计算 Java 网络安全
【Spark】(task1)PySpark基础数据处理
)Scala 是一门多范式(multi-paradigm)的编程语言,设计初衷是要集成面向对象编程和函数式编程的各种特性。 Scala 运行在 Java 虚拟机上,并兼容现有的 Java 程序。
297 0
【Spark】(task1)PySpark基础数据处理
|
机器学习/深度学习 消息中间件 SQL
图解大数据 | Spark Streaming @流式数据处理
Spark Streaming是Spark核心API的一个扩展,可以实现实时数据的可拓展,高吞吐量。本文讲解Spark Streaming的架构、作业提交和工作原理,以及DStream的创建、转换和Graph,并通过案例代码展示应用的细节。
708 0
图解大数据 | Spark Streaming @流式数据处理
|
人工智能 分布式计算 Spark
SPARK + AI SUMMIT 2020 中文精华版线上峰会材料
SPARK + AI SUMMIT 2020 中文精华版线上峰会材料
SPARK + AI SUMMIT 2020 中文精华版线上峰会材料
|
机器学习/深度学习 人工智能 分布式计算
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月5日议题
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月5日议题介绍
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月5日议题