Hadoop完全分布式集群安装zookeeper集群

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: 应用场景 ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。

应用场景

ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。zookeeper有配置维护、域名服务、分布式同步、组服务等这些功能,它可以通过投票选举机制选举出leader,并且在hbase中,zookeeper尤为重要,zookeeper存储了hbase的元数据,所以想要搭建hbase集群之前,必须要搭建zookeeper。

操作步骤

1. zookeeper3.4.10下载

zookeeper下载地址,并上传到主服务器的/opt目录下
虽然zookeeper在我们hadoop集群的三个节点都需要安装,但我们可以先在主服务器上做好配置,然后分发到从服务器

2. zookeeper解压并修改目录名

 # cd /opt
 # tar -xzvf zookeeper-3.4.10.tar.gz
 # mv zookeeper-3.4.10 zookeeper3.4.10

3. 创建data和dataLog目录

 # mkdir /opt/zookeeper3.4.10/data                      # 创建data目录
 # mkdir /opt/zookeeper3.4.10/dataLog                # 创建dataLog目录

4. 创建myid文件

 # cd /opt/zookeeper3.4.10/data
 # vim myid                  # 输入数字1,然后保存,第二个节点输入2,第三个节点输入3
 # chmod 777 -R /opt/zookeeper3.4.10    # 对zookeeper的目录进行授权

5. 修改配置文件zoo.cfg

 # cd /opt/zookeeper3.4.10/conf
 # cp zoo_sample.cfg zoo.cfg
 # vim zoo.cfg             #在文件末尾添加如下内容

dataDir=/opt/zookeeper3.4.10/data  
dataLogDir=/opt/zookeeper3.4.10/dataLog  
server.1=hadoop0:2888:3888  
server.2=hadoop1:2888:3888  
server.3=hadoop2:2888:3888  

 # 注hadoop0,hadoop1,hadoop2为三个节点的主机名!

6. 把在主节点上修改的zookeeper分发到hadoop1和hadoop2

 # cd /opt/
 # scp -r zookeeper3.4.10  root@hadoop1:/opt/
 # scp -r zookeeper3.4.10  root@hadoop2:/opt/

分发后别忘了修改data目录下的myid文件中的内容,也给从节点的zookeeper目录赋权

7. 启动和测试集群

分别在三台服务器上运行如下命令
 # zkServer.sh start

8. 验证效果

分别在三台服务器上运行如下命令
 # zkServer.sh status

这里写图片描述

这里写图片描述

这里写图片描述

查看zookeeper集群中的zookeeper节点的状态,会发现其中一个是leader,其余是follower。这就是zookeeper的投票选举机制,所以一般zookeeper为单数个节点的集群,这样投票容易一些;当然如果双数节点也可以,只是投票难度大了一些,比如6个节点的zookeeper,那么必须一个节点票数为4票及以上,才行,而不像单数个节点!

相关实践学习
基于MSE实现微服务的全链路灰度
通过本场景的实验操作,您将了解并实现在线业务的微服务全链路灰度能力。
目录
相关文章
|
7天前
|
监控 负载均衡 Cloud Native
ZooKeeper分布式协调服务详解:面试经验与必备知识点解析
【4月更文挑战第9天】本文深入剖析ZooKeeper分布式协调服务原理,涵盖核心概念如Server、Client、ZNode、ACL、Watcher,以及ZAB协议在一致性、会话管理、Leader选举中的作用。讨论ZooKeeper数据模型、操作、会话管理、集群部署与管理、性能调优和监控。同时,文章探讨了ZooKeeper在分布式锁、队列、服务注册与发现等场景的应用,并在面试方面分析了与其它服务的区别、实战挑战及解决方案。附带Java客户端实现分布式锁的代码示例,助力提升面试表现。
29 2
|
1月前
|
监控 NoSQL Java
Zookeeper分布式锁
Zookeeper分布式锁
90 1
|
1天前
|
分布式计算 负载均衡 Hadoop
Hadoop集群节点添加
Hadoop集群节点添加
|
5天前
|
分布式计算 资源调度 Hadoop
Hadoop【基础知识 03+04】【Hadoop集群资源管理器yarn】(图片来源于网络)(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
【4月更文挑战第5天】Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】(图片来源于网络)Hadoop【基础知识 04】【HDFS常用shell命令】(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
31 9
|
6天前
|
分布式计算 资源调度 Hadoop
Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】(图片来源于网络)
【4月更文挑战第4天】Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】(图片来源于网络)
19 4
|
9天前
|
存储 分布式计算 Hadoop
【Hadoop】Hadoop的三种集群模式
【4月更文挑战第9天】【Hadoop】Hadoop的三种集群模式
|
10天前
|
分布式计算 Hadoop Java
centos 部署Hadoop-3.0-高性能集群(一)安装
centos 部署Hadoop-3.0-高性能集群(一)安装
12 0
|
21天前
|
算法 Java Linux
zookeeper单机伪集群集群部署
zookeeper单机伪集群集群部署
85 0
|
28天前
|
分布式计算 资源调度 Hadoop
Hadoop集群基本测试
Hadoop集群基本测试
22 0
|
1月前
|
消息中间件 存储 Kafka
Kafka【环境搭建 02】kafka_2.11-2.4.1 基于 zookeeper 搭建高可用伪集群(一台服务器实现三个节点的 Kafka 集群)
【2月更文挑战第19天】Kafka【环境搭建 02】kafka_2.11-2.4.1 基于 zookeeper 搭建高可用伪集群(一台服务器实现三个节点的 Kafka 集群)
140 1