Hadoop完全分布式集群安装zookeeper集群

  1. 云栖社区>
  2. 博客>
  3. 正文

Hadoop完全分布式集群安装zookeeper集群

wsc449 2017-11-15 17:19:42 浏览575
展开阅读全文

应用场景

ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。zookeeper有配置维护、域名服务、分布式同步、组服务等这些功能,它可以通过投票选举机制选举出leader,并且在hbase中,zookeeper尤为重要,zookeeper存储了hbase的元数据,所以想要搭建hbase集群之前,必须要搭建zookeeper。

操作步骤

1. zookeeper3.4.10下载

zookeeper下载地址,并上传到主服务器的/opt目录下
虽然zookeeper在我们hadoop集群的三个节点都需要安装,但我们可以先在主服务器上做好配置,然后分发到从服务器

2. zookeeper解压并修改目录名

 # cd /opt
 # tar -xzvf zookeeper-3.4.10.tar.gz
 # mv zookeeper-3.4.10 zookeeper3.4.10

3. 创建data和dataLog目录

 # mkdir /opt/zookeeper3.4.10/data                      # 创建data目录
 # mkdir /opt/zookeeper3.4.10/dataLog                # 创建dataLog目录

4. 创建myid文件

 # cd /opt/zookeeper3.4.10/data
 # vim myid                  # 输入数字1,然后保存,第二个节点输入2,第三个节点输入3
 # chmod 777 -R /opt/zookeeper3.4.10    # 对zookeeper的目录进行授权

5. 修改配置文件zoo.cfg

 # cd /opt/zookeeper3.4.10/conf
 # cp zoo_sample.cfg zoo.cfg
 # vim zoo.cfg             #在文件末尾添加如下内容

dataDir=/opt/zookeeper3.4.10/data  
dataLogDir=/opt/zookeeper3.4.10/dataLog  
server.1=hadoop0:2888:3888  
server.2=hadoop1:2888:3888  
server.3=hadoop2:2888:3888  

 # 注hadoop0,hadoop1,hadoop2为三个节点的主机名!

6. 把在主节点上修改的zookeeper分发到hadoop1和hadoop2

 # cd /opt/
 # scp -r zookeeper3.4.10  root@hadoop1:/opt/
 # scp -r zookeeper3.4.10  root@hadoop2:/opt/

分发后别忘了修改data目录下的myid文件中的内容,也给从节点的zookeeper目录赋权

7. 启动和测试集群

分别在三台服务器上运行如下命令
 # zkServer.sh start

8. 验证效果

分别在三台服务器上运行如下命令
 # zkServer.sh status

这里写图片描述

这里写图片描述

这里写图片描述

查看zookeeper集群中的zookeeper节点的状态,会发现其中一个是leader,其余是follower。这就是zookeeper的投票选举机制,所以一般zookeeper为单数个节点的集群,这样投票容易一些;当然如果双数节点也可以,只是投票难度大了一些,比如6个节点的zookeeper,那么必须一个节点票数为4票及以上,才行,而不像单数个节点!

网友评论

登录后评论
0/500
评论
wsc449
+ 关注