《Hadoop集群与安全》一1.3 为Hadoop集群选择操作系统

简介:

本节书摘来自华章出版社《Hadoop集群与安全》一书中的第1章,第1.3节,作者 (美)Danil Zburivsky Sudheesh Narayanan,更多章节内容可以访问云栖社区“华章计算机”公众号查看

1.3 为Hadoop集群选择操作系统

为Hadoop集群选择操作系统是一项相对简单的任务。Hadoop核心以及生态系统组件都是由Java编写的,当然其中也有一些例外。虽然Java代码本身就是跨平台的,但是目前Hadoop只能运行在类似Linux这样的系统上。理由是许多设计决定都是以Linux进行考虑的,因此类似于“开始/停止”脚本以及权限模型(permissions model)这样核心Hadoop组件都依赖于Linux环境。
Hadoop在Linux平台上的实现方式都是相同的并且在不同的版本上都有良好的表现:Red Hat、CentOS、Debian、Ubuntu、Suse以及Fedora。在所有这些版本上运行Hadoop都没有特别的要求。如果所有的依赖项解析以及命令解释器支持脚本都运行良好,那么Hadoop也能够成功运行在其他类似POSIX(比如Solaris或者BSD)的操作系统上。目前大部分Hadoop产品的安装都运行在Linux上,我们之后的讲解也会将重点放在该操作系统上。本书中的示例都运行在CentOS上,和Red Hat一样,它也是应用最为广泛的实际应用系统之一。
Apache Hadoop提供了源文件以及用于稳定发行版的RPM以及DEB包。目前它是1.0版本的一个分支。我们可以根据源代码构建Hadoop,但是对于大部分用户我们并不推荐这么做,因为这要求构架大型Java项目的经验以及精细的依赖项解析。Cloudera以及Hortonworks发行版为用户提供了方便的途径在服务器上安装存储库以及所需要的包。
Hadoop并没有严格要求在所有节点上运行相同的操作系统,但是根据经验来说保持节点配置的一致性更有利于我们进行管理。

相关文章
|
2月前
|
存储 弹性计算 安全
带你读《从基础到应用云上安全航行指南》——九大提升ECS实例操作系统安全性的技巧(1)
带你读《从基础到应用云上安全航行指南》——九大提升ECS实例操作系统安全性的技巧(1)
335 1
|
2月前
|
存储 弹性计算 安全
带你读《从基础到应用云上安全航行指南》——九大提升ECS实例操作系统安全性的技巧(2)
带你读《从基础到应用云上安全航行指南》——九大提升ECS实例操作系统安全性的技巧(2)
662 1
带你读《从基础到应用云上安全航行指南》——九大提升ECS实例操作系统安全性的技巧(2)
|
6天前
|
分布式计算 负载均衡 Hadoop
Hadoop集群节点添加
Hadoop集群节点添加
|
10天前
|
分布式计算 资源调度 Hadoop
Hadoop【基础知识 03+04】【Hadoop集群资源管理器yarn】(图片来源于网络)(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
【4月更文挑战第5天】Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】(图片来源于网络)Hadoop【基础知识 04】【HDFS常用shell命令】(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
37 9
|
11天前
|
分布式计算 资源调度 Hadoop
Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】(图片来源于网络)
【4月更文挑战第4天】Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】(图片来源于网络)
22 4
|
14天前
|
存储 分布式计算 Hadoop
【Hadoop】Hadoop的三种集群模式
【4月更文挑战第9天】【Hadoop】Hadoop的三种集群模式
|
15天前
|
分布式计算 Hadoop Java
centos 部署Hadoop-3.0-高性能集群(一)安装
centos 部署Hadoop-3.0-高性能集群(一)安装
16 0
|
4月前
|
SQL 分布式计算 Hadoop
Hadoop学习笔记(HDP)-Part.08 部署Ambari集群
01 关于HDP 02 核心组件原理 03 资源规划 04 基础环境配置 05 Yum源配置 06 安装OracleJDK 07 安装MySQL 08 部署Ambari集群 09 安装OpenLDAP 10 创建集群 11 安装Kerberos 12 安装HDFS 13 安装Ranger 14 安装YARN+MR 15 安装HIVE 16 安装HBase 17 安装Spark2 18 安装Flink 19 安装Kafka 20 安装Flume
84 0
Hadoop学习笔记(HDP)-Part.08 部署Ambari集群
|
1月前
|
分布式计算 资源调度 Hadoop
Hadoop集群基本测试
Hadoop集群基本测试
26 0
|
2月前
|
弹性计算 运维 监控
带你读《从基础到应用云上安全航行指南》——九大提升ECS实例操作系统安全性的技巧(3)
带你读《从基础到应用云上安全航行指南》——九大提升ECS实例操作系统安全性的技巧(3)
340 1

热门文章

最新文章