详解分布式应用程序协调服务Zookeeper

  1. 云栖社区>
  2. 博客>
  3. 正文

详解分布式应用程序协调服务Zookeeper

李金泽 2018-03-09 20:57:00 浏览1195
展开阅读全文

欢迎关注大数据和人工智能技术文章发布的微信公众号:清研学堂,在这里你可以学到夜白(作者笔名)精心整理的笔记,让我们每天进步一点点,让优秀成为一种习惯!

主从结构:HDFS、Yarn、HBase、storm、spark、zookeeper都存在单点故障问题

hadoop1.x没有解决方案

hadoop2.x利用zookeeper实现HA

zookeeper是开源的分布式应用程序协调服务,是Google chubby的开源实现

zookeeper相当于一个数据库,可以实现HA,zookeeper的功能:配置管理、集群管理、分布式锁

zookeeper的体系结构:leader和follower

zookeeper集群本身具有leader选举功能(解决单点故障问题,因此zookeeper集群至少需要三台)和数据同步功能(保证数据的安全性),

选举端口号:3888,同步端口号:2888

zookeeper也支持单点部署,不存在leader选举功能(paxos协议)和数据同步功能(zab协议),状态:standalone(单独的、独立的)

paxos协议的核心思想:当多数server写成功,则任务数据写成功。如果有3个server,则两个写成功即可。

 

安装和配置zookeeper:

安装zookeeper:tar -zxvf zookeeper-3.4.10.tar.gz -C ~/training

配置zookeeper:配置ZOOKEEPER_HOME环境变量:

                vim ~/.bash_profile

export ZOOKEEPER_HOME=/root/training/zookeeper-3.4.10

                export PATH=$ZOOKEEPER_HOME/bin:$PATH

source ~/.bash_profile

zookeeper的核心配置文件:conf/zoo.cfg 使用cp zoo_sample.cfg zoo.cfg得到zoo.cfg

 

zookeeper的安装模式:

1、单点模式:一台机器,不存在leader选举功能和数据同步功能 状态:standalone

修改配置文件zoo.cfg:

1、指定zookeeper中数据保存的目录:

dataDir=/root/training/zookeeper-3.4.10/tmp

2、指定zookeeper的主机是谁:

server.1=bigdata11:2888:3888

3、指定server.1的myid:1

 

2、集群模式:至少三台机器以上  具有leader选举功能和数据同步功能 状态:一个leader,多个follower

1、在bigdata12上安装和配置zookeeper:

安装zookeeper:tar -zxvf zookeeper-3.4.10.tar.gz -C ~/training

配置zookeeper:配置ZOOKEEPER_HOME环境变量:

ZOOKEEPER_HOME=/root/training/zookeeper-3.4.10

PATH=$ZOOKEEPER_HOME/bin:$PAHT

 

2、修改配置文件zoo.cfg:

1、指定zookeeper中数据保存的目录:

dataDir=/root/training/zookeeper-3.4.10/tmp

2、指定zookeeper的主机:

server.1=bigdata12:2888:3888

server.2=bigdata13:2888:3888

server.3=bigdata14:2888:3888

3、指定server.1的myid:1

3、把bigdata12上的zookeeper复制到其他节点上:

scp -r zookeeper-3.4.10 root@bigdata12:/root/training

scp -r zookeeper-3.4.10 root@bigdata13:/root/training

scp -r zookeeper-3.4.10 root@bigdata14:/root/training

 

4、修改bigdata13和bigdata14上的myid文件:

 

5、在每个节点上启动zookeeper:zkServer.sh start

 

zookeeper的数据模型:

zookeeper的数据模型类似于Linux文件系统,呈树形结构,每个目录称作一个z节点,每个z节点上可以存储少量数据,默认1M

 

 

启动zookeeper:zkServer.sh start

停止zookeeper:zkServer.sh stop

查看zookeeper的状态:zkServer.sh status

 

启动zookeeper的客户端命令行工具:zkCli.sh

zookeeper的客户端命令行工具端口号:2181

在zookeeper中创建节点添加数据:create /mydata helloworld

在zookeeper中查看节点:get /mydata

 

作者:李金泽AllenLi,清华大学在读硕士,研究方向:大数据和人工智能

 

网友评论

登录后评论
0/500
评论
李金泽
+ 关注