通过Cloudera Manager安装CDH

本文涉及的产品
云原生数据库 PolarDB MySQL 版,Serverless 5000PCU 100GB
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介:

1 方法一

你可以从https://ccp.cloudera.com/display/SUPPORT/Downloads下载cloudera-manager-installer.bin,然后修改执行权限并执行该脚本。

该脚本中配置的rhel6的yum源为:http://archive.cloudera.com/cm4/redhat/6/x86_64/cm/4/,下载的过程必须连网并且rpm的过程会非常慢,这种方法对虚拟机或者是无法连网的内网机器来说根本无法使用。

因为知道所有的rpm都在上面网址可以下载到,故你可以手动下载这些rpm然后手动安装,详细过程请参考:通过cloudera-manager来安装hadoop

2 方法二

这里还有一种方法,就是手动下载Cloudera Manager的yum tar包,在虚拟机中搭建一个本地yum源,然后修改hosts文件,使archive.cloudera.com域名映射到本地ip。

3 方法三

出于好奇,想破解cloudera-manager-installer.bin,然后看看其中做了哪些操作。通过以下脚本即可解压该文件:

$ mv cloudera-manager-installer.bin cloudera-manager-installer.zip
$ unzip cloudera-manager-installer.zip 

解压之后的目录如下:

$ ll
总用量 512
-rwxrwxr-x. 1 june june 501698 5月  25 09:53 cloudera-manager-installer.zip
drwxr-xr-x. 2 june june   4096 5月  23 03:05 data
drwxr-xr-x. 2 june june   4096 5月  22 21:48 guis
drwxr-xr-x. 2 june june   4096 5月  22 21:48 meta
drwxr-xr-x. 2 june june   4096 5月  22 21:48 scripts

查看解压之后的文件可以看到安装脚本是用lua编写并用MojoSetup编译的,从scripts/config.lua脚本中大概可以看出安装脚本的执行过程。

整理下该脚本逻辑,主要是做了以下操作:

$ yum install -y jdk.x86_64 
$ yum install -y cloudera-manager-server 
$ yum install -y cloudera-manager-server-db
$ /etc/init.d/cloudera-scm-server start
$ /etc/init.d/cloudera-scm-server-db start

知道了上面这点之后,就可以在本地的cloudera-manager yum中,执行以上操作完成cloudera-manager的安装,安装成功之后查看7180端口是否打开:

$ netstat -na| grep 7180

通过浏览器访问http://IP:7180登录cloudera manager界面:用户名/密码:admin/admin,按照界面提示完成hadoop集群安装。

卸载

执行以下命令,可以卸载并删除相应的文件和目录:

yum remove -y hadoop hbase hive zookeeper hue oozie sqoop flume
yum remove cloudera*

rm -rf /usr/lib/{hadoop,hbase,oozie}
rm -rf /etc/{hadoop,hadoop-httpfs,hbase,hive,zookeeper}
rm -rf /etc/{hadoop,hadoop-httpfs,hbase,hive,zookeeper,sqoop,oozie,flume}
rm -rf /etc/cloudera-scm-agent/
rm -rf /tmp/hadoop-hive/ /usr/share/hue/  /var/log/hive/
rm -rf /var/log/hadoop-*
rm -rf /var/log/hbase/
rm -rf /var/log/zookeeper/
rm -rf /var/log/cloudera-scm-*
rm -rf /var/log/flume-ng/
rm -rf /var/log/hue
rm -rf /usr/share/doc/oozie*
rm -rf /etc/hue/ /etc/rc.d/init.d/hue

5 排错

在执行下面一个命令时候可能会出现如下异常

$ /etc/init.d/cloudera-scm-server-db start

异常信息如下:

[root@cdh1 cloudera-scm-server-db]# /etc/init.d/cloudera-scm-server-db start
属于此数据库系统的文件宿主为用户 "cloudera-scm".
此用户也必须为服务器进程的宿主.
数据库簇将带有 locale en_US.UTF8 初始化.
缺省的文本搜索配置将会被设置到"english"

修复已存在目录 /var/lib/cloudera-scm-server-db/data 的权限 ... initdb: 无法改变目录 "/var/lib/cloudera-scm-server-db/data" 的权限: 权限不够
Could not initialize database server.
  This usually means that your PostgreSQL installation failed or isn't working properly.
  PostgreSQL is installed using the set of repositories found on this machine. Please
  ensure that PostgreSQL can be installed. Please also uninstall any other instances of
  PostgreSQL and then try again., giving up

这时候,请执行如下命令:

$ su -s /bin/bash cloudera-scm -c "touch /var/log/cloudera-scm-server/db.log; /usr/share/cmf/bin/initialize_embedded_db.sh /var/lib/cloudera-scm-server-db/data /var/log/cloudera-scm-server/db.log"
$ su -s /bin/bash cloudera-scm -c "pg_ctl start -w -D /var/lib/cloudera-scm-server-db/data -l /var/log/cloudera-scm-server/db.log"
相关实践学习
云数据库HBase版使用教程
  相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情: https://cn.aliyun.com/product/hbase   ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
9月前
|
存储 安全 关系型数据库
安装CDH7.1.1
安装CDH7.1.1
207 0
|
9月前
|
关系型数据库 MySQL Java
安装Ambari和HDP
安装Ambari和HDP
204 1
|
9月前
|
存储 分布式计算 Hadoop
如何升级CDH7.1.1到CDH7.1.3
如何升级CDH7.1.1到CDH7.1.3
129 1
|
消息中间件 SQL 分布式计算
Cloudera Enterprise 6.0发布【集成Hadoop3.0】
Cloudera Enterprise 6.0发布【集成Hadoop3.0】
97 0
|
SQL 分布式计算 关系型数据库
Cloudera Manager环境搭建【二】
默认的方式下linux会把文件访问的时间atime做记录,文件系统在文件被访问、创建、修改等的时候记录下了文件的一些时间戳,比如:文件创建时间、最近一次修改时间和最近一次访问时间;这在绝大部分的场合都是没有必要的。
267 0
Cloudera Manager环境搭建【二】
|
SQL 资源调度 分布式计算
Cloudera Manager 管理控制台
Cloudera Manager 管理控制台是基于 Web 的界面,可用于配置、管理和监控 Cloudera Runtime。
Cloudera Manager 管理控制台
|
分布式计算 Hadoop
使用 Ambari 安装 Hadoop 集群
转自:使用 Ambari 安装 Hadoop 集群
913 0
|
Web App开发 关系型数据库 MySQL

热门文章

最新文章

相关实验场景

更多