临时记录Hadoop 2.x HA cluster

简介:

1.每个节点启动zookeeper 服务

zkServer.sh start

2.每个节点先启动journal node

hadoop-daemon.sh start journalnode

3.在某一台NameNode节点,例如nn1上格式化文件系统,并启动nn1的namenode

#格式化hdfs
 hdfs namenode -format 
#启动当前节点NameNode
 hadoop-daemon.sh start namenode

4.在另一台NameNode nn2上同步nn1的数据,并启动nn2

#从另一台NameNode节点同步数据
 hdfs namenode -bootstrapStandby
#启动当前节点NameNode
 hadoop-daemon.sh start namenode
#每个节点启动DataNode
hadoop-daemon.sh start datanodes

5.在zookeeper中初始化namenode的信息

hdfs zkfc -formatZK

6.停止所有hdfs

stop-dfs.sh

7.启动hdfs文件系统

start-dfs.sh

8.正常的话会启动nn,dn,jn,zkController

[beifeng@hadoop-master ~]$ start-dfs.sh
Starting namenodes on [hadoop-master hadoop-slave1]
hadoop-slave1: starting namenode, logging to /opt/app/hadoop-2.5.0/logs/hadoop-beifeng-namenode-hadoop-slave1.out
hadoop-master: starting namenode, logging to /opt/app/hadoop-2.5.0/logs/hadoop-beifeng-namenode-hadoop-master.out
hadoop-slave2: starting datanode, logging to /opt/app/hadoop-2.5.0/logs/hadoop-beifeng-datanode-hadoop-slave2.out
hadoop-slave1: starting datanode, logging to /opt/app/hadoop-2.5.0/logs/hadoop-beifeng-datanode-hadoop-slave1.out
hadoop-master: starting datanode, logging to /opt/app/hadoop-2.5.0/logs/hadoop-beifeng-datanode-hadoop-master.out
Starting journal nodes [hadoop-master hadoop-slave1 hadoop-slave2]
hadoop-master: starting journalnode, logging to /opt/app/hadoop-2.5.0/logs/hadoop-beifeng-journalnode-hadoop-master.out
hadoop-slave1: starting journalnode, logging to /opt/app/hadoop-2.5.0/logs/hadoop-beifeng-journalnode-hadoop-slave1.out
hadoop-slave2: starting journalnode, logging to /opt/app/hadoop-2.5.0/logs/hadoop-beifeng-journalnode-hadoop-slave2.out
Starting ZK Failover Controllers on NN hosts [hadoop-master hadoop-slave1]
hadoop-slave1: starting zkfc, logging to /opt/app/hadoop-2.5.0/logs/hadoop-beifeng-zkfc-hadoop-slave1.out
hadoop-master: starting zkfc, logging to /opt/app/hadoop-2.5.0/logs/hadoop-beifeng-zkfc-hadoop-master.out

9.启动yarn

start-yarn.sh

10.启动历史人物日志功能

mr-jobhistory-daemon.sh start historyserver
目录
相关文章
|
存储 分布式计算 运维
hadoop HA高可用集群实战
大数据实战:hadoop HA高可用集群
hadoop HA高可用集群实战
|
存储 分布式计算 Hadoop
四十九、Hadoop HA部署(MINI版)(二)
四十九、Hadoop HA部署(MINI版)(二)
四十九、Hadoop HA部署(MINI版)(二)
|
分布式计算 运维 Hadoop
四十九、Hadoop HA部署(MINI版)(一)
四十九、Hadoop HA部署(MINI版)(一)
四十九、Hadoop HA部署(MINI版)(一)
|
分布式计算 资源调度 Hadoop
搭建Hadoop集群的HA高可用架构(超详细步骤+已验证)(二)
搭建Hadoop集群的HA高可用架构(超详细步骤+已验证)(二)
253 0
|
分布式计算 资源调度 算法
搭建Hadoop集群的HA高可用架构(超详细步骤+已验证)(一)
搭建Hadoop集群的HA高可用架构(超详细步骤+已验证)(一)
522 0
|
分布式计算 资源调度 Java
安装hadoop伪分布式模式(Single Node Cluster)
目的 本文档介绍如何去安装单节点hadoop集群,以便你可以的了解和使用hadoop的HDFS和MapReduce. 环境: os: CentOS release 6.5 (Final) ip: 172.
721 0
|
分布式计算 Hadoop
安装hadoop集群(Multi Cluster)
配置环境 本文档安装hadoop集群环境,一个master作为namenode节点,一个slave作为datanode节点: (1) master: os: CentOS release 6.
796 0
|
分布式计算 大数据 Spark
Hadoop大数据平台实战(05):深入Spark Cluster集群模式YARN vs Mesos vs Standalone vs K8s
Hadoop大数据平台实战(05):Spark Cluster集群模式YARN, Mesos,Standalone和K8s深入对比。监控,调度,监控,安全机制,特性对比,哪个才是最好的Spark集群管理工具。
3610 0
|
分布式计算 大数据 Hadoop
好程序员大数据教程Hadoop全分布安装(非HA)
   机器名称 启动服务  linux11 namenode secondrynamenode datanode  linux12 datanode  linux13 datanode  第一步:更改主机名,临时修改+永久修改  临时修改:hostname linux11  永久修改: vi /e.
1186 0
|
分布式计算 Hadoop Java
搭建Hadoop的HA高可用架构(超详细步骤+已验证)
一、集群的规划 Zookeeper集群: 192.168.182.12 (bigdata12)192.168.182.13 (bigdata13)192.168.182.14 (bigdata14) Hadoop集群: 192.
6067 0

热门文章

最新文章

相关实验场景

更多