《Hadoop海量数据处理:技术详解与项目实战(第2版)》一2.7 Cloudera Manager

简介:

本节书摘来异步社区《Hadoop海量数据处理:技术详解与项目实战(第2版)》一书中的第2章,第2.7节,作者: 范东来 责编: 杨海玲,更多章节内容可以访问云栖社区“异步社区”公众号查看。

2.7 Cloudera Manager

读到这里的时候,读者可能觉得安装Hadoop是一件比较麻烦的事情,特别是在需要安装的组件特别多、安装的主机特别多的情况下(例如几百台),这种安装方式就不太可取了。在CDH中,有一个特殊的组件Cloudera Manager,它正是考虑到用户的这种需求。它的主要功能有3个:集群自动化安装部署、集群监控和集群运维。

在CDH4时,Cloudera Manager还有集群规模限制,而在CDH5中,则去除了这个限制。这样中小企业在使用Cloudera Manager时就更加方便。利用Cloudera Manager安装Hadoop,只需在管理节点安装Cloudera Manager,然后启动Cloudera Manager的Web服务,通过可视化界面完成集群安装文件的分发以及集群服务的初始化,如图2-23所示。


23

安装完成后,Cloudera Manager还提供了事无巨细的监控平台,这对集群维护来说,十分重要,有机器级别的也有服务级别的,如图2-24、图2-25和图2-26所示。


24
25_26

此外,Cloudera Manager还提供了常见运维行为的向导,如增加节点、卸载节点等,如图2-27所示。


27

CDH基于社区版Hadoop、所以亦遵循开源协议,但是Cloudera Manager本身虽然免费使用,但却是不开源的,这点请想要在生产环境使用的读者需要注意。如果想使用类似的开源产品,可以考虑Apache Ambari。

相关文章
|
7天前
|
分布式计算 Hadoop 大数据
大数据技术与Python:结合Spark和Hadoop进行分布式计算
【4月更文挑战第12天】本文介绍了大数据技术及其4V特性,阐述了Hadoop和Spark在大数据处理中的作用。Hadoop提供分布式文件系统和MapReduce,Spark则为内存计算提供快速处理能力。通过Python结合Spark和Hadoop,可在分布式环境中进行数据处理和分析。文章详细讲解了如何配置Python环境、安装Spark和Hadoop,以及使用Python编写和提交代码到集群进行计算。掌握这些技能有助于应对大数据挑战。
|
5月前
|
存储 分布式计算 Hadoop
【大数据】Hadoop技术解析:大数据处理的核心引擎
【大数据】Hadoop技术解析:大数据处理的核心引擎
148 0
|
4月前
|
消息中间件 分布式计算 大数据
【大数据技术Hadoop+Spark】Flume、Kafka的简介及安装(图文解释 超详细)
【大数据技术Hadoop+Spark】Flume、Kafka的简介及安装(图文解释 超详细)
66 0
|
4月前
|
SQL 存储 大数据
【大数据技术Hadoop+Spark】Hive基础SQL语法DDL、DML、DQL讲解及演示(附SQL语句)
【大数据技术Hadoop+Spark】Hive基础SQL语法DDL、DML、DQL讲解及演示(附SQL语句)
74 0
|
6月前
|
分布式计算 大数据 Hadoop
【大数据开发技术】实验03-Hadoop读取文件
【大数据开发技术】实验03-Hadoop读取文件
101 0
|
4月前
|
SQL 分布式计算 大数据
【大数据技术Hadoop+Spark】Spark SQL、DataFrame、Dataset的讲解及操作演示(图文解释)
【大数据技术Hadoop+Spark】Spark SQL、DataFrame、Dataset的讲解及操作演示(图文解释)
53 0
|
6月前
|
分布式计算 Hadoop Java
【大数据开发技术】实验01-Hadoop安装部署
【大数据开发技术】实验01-Hadoop安装部署
133 0
|
4月前
|
分布式计算 大数据 Scala
【大数据技术Hadoop+Spark】Spark RDD创建、操作及词频统计、倒排索引实战(超详细 附源码)
【大数据技术Hadoop+Spark】Spark RDD创建、操作及词频统计、倒排索引实战(超详细 附源码)
89 1
|
4月前
|
分布式计算 资源调度 大数据
【大数据技术Hadoop+Spark】Spark架构、原理、优势、生态系统等讲解(图文解释)
【大数据技术Hadoop+Spark】Spark架构、原理、优势、生态系统等讲解(图文解释)
152 0
|
4月前
|
存储 分布式计算 大数据
【云计算与大数据技术】大数据系统总体架构概述(Hadoop+MapReduce )
【云计算与大数据技术】大数据系统总体架构概述(Hadoop+MapReduce )
100 0