Hadoop的HA机制

  1. 云栖社区>
  2. 博客>
  3. 正文

Hadoop的HA机制

涂作权 2017-06-08 19:06:00 浏览1187
展开阅读全文

 Hadoop的HA机制

前言:正式引入HA机制是从hadoop2.0开始,之前的版本中没有HA机制

1.1HA的运作机制

(1)hadoop-HA集群运作机制介绍

所谓HA,即高可用(7*24小时不中断服务)

实现高可用最关键的是消除单点故障

hadoop-ha严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HA

 

(2)HDFS的HA机制详解

通过双namenode消除单点故障

双namenode协调工作的要点:

    A、元数据管理方式需要改变:

    内存中各自保存一份元数据

    Edits日志只能有一份,只有Active状态的namenode节点可以做写操作

    两个namenode都可以读取edits

    共享的edits放在一个共享存储中管理(qjournal和NFS两个主流实现)

    B、需要一个状态管理功能模块

    实现了一个zkfailover,常驻在每一个namenode所在的节点

    每一个zkfailover负责监控自己所在namenode节点,利用zk进行状态标识

    当需要进行状态切换时,由zkfailover来负责切换

    切换时需要防止brain split现象的发生

 

1.2 HDFS-HA图解:

 

网友评论

登录后评论
0/500
评论