2.3 为何把 Hadoop 和 Spark 结合使用
Apache Spark 与 Hadoop 结合使用时表现更好。为了理解这一点，让我们来看看 Hadoop 和 Spark 的特性。
2.3.1 Hadoop 的特性
2.3.2 Spark 的特性
当这两个框架结合起来的时候，我们就得到了具有内存级性能的企业级应用的威力，如图2-11 所示。
关于 Spark 的常见问题
以下是从业者对 Spark 提出的常见问题：
图2-12显示了完全缓存和分散到磁盘两种情况之间的性能差异：
《Spark与Hadoop大数据分析》——2.3 为何把 Hadoop 和 Spark 结合使用
2017-09-01
1217
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
本节书摘来自华章计算机《Spark与Hadoop大数据分析》一书中的第2章，第2.3节，作者 [美]文卡特·安卡姆（Venkat Ankam），译 吴今朝，更多章节内容可以访问云栖社区“华章计算机”公众号查看。
目录
相关文章
|
11天前
|
分布式计算
Hadoop
大数据
大数据技术与Python：结合Spark和Hadoop进行分布式计算
【4月更文挑战第12天】本文介绍了大数据技术及其4V特性，阐述了Hadoop和Spark在大数据处理中的作用。Hadoop提供分布式文件系统和MapReduce，Spark则为内存计算提供快速处理能力。通过Python结合Spark和Hadoop，可在分布式环境中进行数据处理和分析。文章详细讲解了如何配置Python环境、安装Spark和Hadoop，以及使用Python编写和提交代码到集群进行计算。掌握这些技能有助于应对大数据挑战。
28
1
1
|
2月前
|
分布式计算
大数据
Java
|
3月前
|
分布式计算
Hadoop
大数据
|
3月前
|
分布式计算
监控
大数据
|
3月前
|
SQL
分布式计算
Hadoop
|
3月前
|
分布式计算
Hadoop
数据处理
|
2月前
|
分布式计算
DataWorks
IDE
MaxCompute数据问题之忽略脏数据如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构；本合集将提供MaxCompute数据的管理和优化指南，以及数据操作中的常见问题和解决策略。
47
0
0
|
2月前
|
SQL
存储
分布式计算
MaxCompute问题之下载数据如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构；本合集将提供MaxCompute数据的管理和优化指南，以及数据操作中的常见问题和解决策略。
38
0
0
|
2月前
|
分布式计算
关系型数据库
MySQL
MaxCompute问题之数据归属分区如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构；本合集将提供MaxCompute数据的管理和优化指南，以及数据操作中的常见问题和解决策略。
35
0
0
|
2月前
|
分布式计算
DataWorks
BI
MaxCompute数据问题之运行报错如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构；本合集将提供MaxCompute数据的管理和优化指南，以及数据操作中的常见问题和解决策略。
38
1
1
热门文章
最新文章
1
Hadoop【基础知识 03+04】【Hadoop集群资源管理器yarn】（图片来源于网络）（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
2
Hadoop【基础知识 05】【HDFS的JavaAPI】（集成及测试）
3
Hadoop【hadoop学习大纲完全总结01+02+03+04+05】【自学阶段整理的xmind思维导图分享】【点击可放大看高清】
4
Hadoop【问题记录 02】【hadoop-3.1.3 单机版】ResourceManager无法启动NodeManager启动后过自动关闭 javax/activation/DataSource
5
Hadoop【基础知识 04】【HDFS常用shell命令】（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
6
【Hadoop】HDFS 读写流程
7
Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】（图片来源于网络）
8
【Flink】Flink跟Spark Streaming的区别？
9
【Hadoop Yarn】Hadoop Yarn 基于优先级的调度算法
10
【Hadoop Yarn】Yarn 工作机制
1
大数据中的人为数据
11
2
数据之势丨从“看数”到“用数”，百年制造企业用大数据实现“降本增效”
78
3
大数据技术与Python：结合Spark和Hadoop进行分布式计算
28
4
大数据处理架构Hadoop
33
5
大数据项目管理：从需求分析到成果交付的全流程指南
27
6
Azure Databricks实战：在云上轻松进行大数据分析与AI开发
36
7
大数据定义详解
29
8
利用Hive与Hadoop构建大数据仓库：从零到一
49
9
数字太大了，计算加法、减法会报错，结果不正确？怎么办？用JavaScript实现大数据（超过20位的数字）相加减运算。
18
10
【Flume】Flume在大数据分析领域的应用
34