一脸懵逼学习Hadoop-HA机制(以及HA机制的配置文件,测试)

  1. 云栖社区>
  2. 博客>
  3. 正文

一脸懵逼学习Hadoop-HA机制(以及HA机制的配置文件,测试)

biehl 2017-10-13 09:51:00 浏览968
展开阅读全文

1:能否让两个NameNode都正常影响客户端请求?

  应该让两个NameNode节点在某个时间只能有一个节点正常影响客户端请求,相应请求的必须为Active状态的那一台。

2:standBy状态的节点必须能够快速无缝的切换为active状态:

  意味着两个NameNode必须时刻保持元数据的一致;

3:HA机制,元数据共享存储,数据同步的问题:

  分布式应用:管理edits(同步数据)
  qjoural:依赖zookeeper实现

4:如何避免状态切换时候发生brain split现象:
    fencing:一是ssh发送kill指令,二是执行自定义shell脚本

5:hadoop分布式集群HA模式部署,三台机器跑集群:
  第一台机器:Zookeeper1 NameNode1 zkfc1 journalnode1

  第二台机器:Zookeeper2 NameNode2 zkfc2 journalnode2

  第三台机器:Zookeeper3 journalnode3 dataNode1

6:hadoop分布式集群HA模式部署,七台机器跑集群:
  第一台机器:namenode zkfc
  第二台机器:namenode zkfc
  第三台机器:resourcemanager
  第四台机器:resourcemanager
  第五台机器:zookeeper journalnode dataNode nodemanager
  第六台机器:zookeeper journalnode dataNode nodemanager
  第七台机器:zookeeper journalnode dataNode nodemanager



网友评论

登录后评论
0/500
评论