《Hadoop集群与安全》一1.4 小结

简介:

本节书摘来自华章出版社《Hadoop集群与安全》一书中的第1章,第1.4节,作者 (美)Danil Zburivsky Sudheesh Narayanan,更多章节内容可以访问云栖社区“华章计算机”公众号查看

1.4 小结

构建Hadoop集群是一项复杂的任务,其中包含了诸多步骤。在规划集群中最容易遗漏的一步是总结集群所要处理的工作负载。正如本章所述,理解所构建的集群类型有利于我们合理规划以及选择正确的硬件配置。Hadoop最初是针对商业硬件进行设计的,但是现在它被更多的公司所采纳并且使用案例与Yahoo!以及Facebook这样的互联网巨头不同。这些公司有着不同的目标以及资源,因此需要相应地规划自己的Hadoop集群。我们经常可以看到在小型集群中包含了更多功能强劲的节点,以此节约数据中心的面积并且控制集群的耗电量。
Hadoop不断地在加入新的特性以及核心的生态系统项目。通常这些变化都会对核心Hadoop组件以及版本产生影响,同时新版本始终都不提供对旧版本的兼容性。最终用户有多种可供选择的Hadoop发行版,它们都对组件进行了良好地整合,甚至还提供了某些新增的特性。通常我们都倾向于选择最新以及特性最为丰富的Hadoop版本,但是从稳定性角度来说,我们最好选择在实践中已经使用过的版本并且确保它具有良好的可靠性。这样会为我们节省不少的麻烦。下一章将讨论安装和配置核心Hadoop组件的细节。请卷起你的袖管,我们准备要大干一场了!

相关文章
|
26天前
|
存储 分布式计算 资源调度
Hadoop【环境搭建 04】【hadoop-2.6.0-cdh5.15.2.tar.gz 基于ZooKeeper搭建高可用集群】(部分图片来源于网络)
【4月更文挑战第1天】Hadoop【环境搭建 04】【hadoop-2.6.0-cdh5.15.2.tar.gz 基于ZooKeeper搭建高可用集群】(部分图片来源于网络)
53 3
|
12天前
|
分布式计算 监控 Hadoop
Ganglia监控Hadoop与HBase集群
Ganglia监控Hadoop与HBase集群
|
18天前
|
存储 分布式计算 Hadoop
Hadoop集群搭建
Hadoop集群搭建
|
18天前
|
分布式计算 负载均衡 Hadoop
Hadoop集群节点添加
Hadoop集群节点添加
|
18天前
|
存储 分布式计算 Hadoop
Hadoop集群规模扩展
【4月更文挑战第14天】Hadoop集群扩展可通过添加更多节点、垂直扩展(增强单节点资源)和水平扩展(增加节点数量)来实现。关键点包括规划扩展策略、确保集群稳定性和优化配置。注意在扩展过程中要保证数据完整性,并根据需求调整以提升集群性能和效率。
15 1
|
22天前
|
分布式计算 资源调度 Hadoop
Hadoop【基础知识 03+04】【Hadoop集群资源管理器yarn】(图片来源于网络)(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
【4月更文挑战第5天】Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】(图片来源于网络)Hadoop【基础知识 04】【HDFS常用shell命令】(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
49 9
|
23天前
|
分布式计算 资源调度 Hadoop
Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】(图片来源于网络)
【4月更文挑战第4天】Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】(图片来源于网络)
31 4
|
26天前
|
存储 分布式计算 Hadoop
【Hadoop】Hadoop的三种集群模式
【4月更文挑战第9天】【Hadoop】Hadoop的三种集群模式
|
26天前
|
分布式计算 资源调度 Hadoop
Hadoop【环境搭建 03】【hadoop-3.1.3 集群版】(附:集群启动&停止Shell脚本)
【4月更文挑战第1天】Hadoop【环境搭建 03】【hadoop-3.1.3 集群版】(附:集群启动&停止Shell脚本)
37 2
|
27天前
|
存储 分布式计算 资源调度
centos 部署Hadoop-3.0-高性能集群(二)
centos 部署Hadoop-3.0-高性能集群(二)
19 0
centos 部署Hadoop-3.0-高性能集群(二)

相关实验场景

更多