Hadoop-2.7.0中HDFS NameNode HA实现综述

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: 一、原理      HDFS中NameNode等的HA是基于ZooKeeper实现的。它应用了ZooKeeper集群的如下功能或特性:      1、只要半数以上节点还存活,就继续能对外提供服务;      2、ZooKeeper通过Paxos算法提供了leader选举功能,其它follo...

一、原理

      HDFS中NameNode等的HA是基于ZooKeeper实现的。它应用了ZooKeeper集群的如下功能或特性:

      1、只要半数以上节点还存活,就继续能对外提供服务;

      2、ZooKeeper通过Paxos算法提供了leader选举功能,其它follower learn leader;

      3、ZooKeeper提供了watcher机制,只要ZooKeeper上znode增减,或内容发生变化,或其子znode有增减,客户端都可以通过注册的watcher获得通知;

      4、ZooKeeper提供了持久化节点和临时节点,尤其是临时节点EPHEMERAL,其在ZooKeeper客户端连接断掉后,会自动删除。

      正是基于ZooKeeper的上述特性,HDFS的NameNode实现了HA,NameNode的状态大致可分为Active和Standby两种,NameNode竞争在ZooKeeper指定路径上注册临时节点,将自己的host、port、nameserviceId、namenodeId等数据写入节点,哪个NameNode争先写入成功,哪个就成为Active NameNode。然后,会有后台工作线程周期性检查NameNode状态,并在一定条件下(比如Active NameNode节点发生故障等)发生竞选,由NameNode再去竞争,实现故障转移和状态切换。

      上述就是HDFS NameNode HA实现的大体思路。而HDFS NameNode HA的架构和实现细节是怎么样的?下面我来介绍下。

二、实现

      首先上一张Hadoop HDFS NameNode HA的设计图,如下:


        简单描述下这张图:

        首先,NameNode(NN)、DataNode(DN)均是HDFS中的组件或节点,NN有两个,分为Active和Standby状态,DN有多个,DN周期性向Active和Standby做数据块汇报;

        其次,处于中间位置的,实现HDFS NameNode HA最关键的组件是FailoverController,它是运行在NameNode节点上的守护进程,将Active NN节点的信息通过竞争的方式注册到ZooKeeper上,并实现以下三个基本功能:

            1)有一个后台线程,周期性的检查NameNode的健康状况,即粗的红色拐弯箭头的Monitor Health,触发状态选举等;

            2)定期保持与ZooKeeper的心跳,完成Leader选举(即Active节点选举)和检查Active NN ZNode节点状态等工作,即最上面与ZooKeeper交互的蓝色箭头;

            3)向NameNode发送一些命令,完成状态切换。

        所以,NN HA的主体思路就是:

        1、NN竞争在ZooKeeper上注册,即create一个临时节点,写入NN的host、port、nameserviceId、namenodeI等信息,那个写入成功,那个就是Active状态;

        2、注册成功后,通过create后的watcher机制,FailoverController会发送命令给各个NN,让其确定各自状态和职责;

        3、Monitor Health会周期性连接NN,检查NN状态,并由可能触发重新选举,即重复1-2;

        4、FailoverController会与ZooKeeper保持心跳,注册的临时节点消失后,也会触发重新选举。


        那么,HDFS是如何实现NameNode HA的呢?对应上图,Hadoop中实现了以下模型:


        上图的三个关键组件即是:

        1、DFSZKFailoverController(继承自抽象类ZKFailoverController):ZKFC,故障转移控制器,守护进程,负责总体故障转移和命令发布;

        2、ActiveStandbyElector:Active、Standby选举器,实现选举功能;

        3、HealthMonitor:健康监视器,实现NN状态的定时监控。


        上述组件各自是如何实现的,请关注后续文章。


相关实践学习
基于MSE实现微服务的全链路灰度
通过本场景的实验操作,您将了解并实现在线业务的微服务全链路灰度能力。
相关文章
|
4天前
|
分布式计算 Hadoop 测试技术
Hadoop【基础知识 05】【HDFS的JavaAPI】(集成及测试)
【4月更文挑战第5天】Hadoop【基础知识 05】【HDFS的JavaAPI】(集成及测试)
28 8
|
4天前
|
分布式计算 资源调度 Hadoop
Hadoop【基础知识 03+04】【Hadoop集群资源管理器yarn】(图片来源于网络)(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
【4月更文挑战第5天】Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】(图片来源于网络)Hadoop【基础知识 04】【HDFS常用shell命令】(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
29 9
|
6天前
|
分布式计算 Hadoop Shell
Hadoop【基础知识 04】【HDFS常用shell命令】(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
【4月更文挑战第4天】Hadoop【基础知识 04】【HDFS常用shell命令】(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
18 5
|
8天前
|
存储 分布式计算 Hadoop
【Hadoop】HDFS 读写流程
【4月更文挑战第9天】【Hadoop】HDFS 读写流程
|
3月前
|
存储 分布式计算 Hadoop
NameNode和DataNode在HDFS中的作用是什么?
NameNode和DataNode在HDFS中的作用是什么?
112 0
|
3月前
|
存储 分布式计算 Hadoop
Hadoop的Secondary NameNode在HDFS中的作用是什么?
Hadoop的Secondary NameNode在HDFS中的作用是什么?
36 0
|
3月前
|
存储 分布式计算 Hadoop
HDFS中的NameNode和DataNode的作用是什么?它们之间的通信方式是什么?
HDFS中的NameNode和DataNode的作用是什么?它们之间的通信方式是什么?
90 0
|
7天前
|
存储 分布式计算 Hadoop
大数据处理架构Hadoop
【4月更文挑战第10天】Hadoop是开源的分布式计算框架,核心包括MapReduce和HDFS,用于海量数据的存储和计算。具备高可靠性、高扩展性、高效率和低成本优势,但存在低延迟访问、小文件存储和多用户写入等问题。运行模式有单机、伪分布式和分布式。NameNode管理文件系统,DataNode存储数据并处理请求。Hadoop为大数据处理提供高效可靠的解决方案。
24 2
|
7天前
|
分布式计算 Hadoop 大数据
大数据技术与Python:结合Spark和Hadoop进行分布式计算
【4月更文挑战第12天】本文介绍了大数据技术及其4V特性,阐述了Hadoop和Spark在大数据处理中的作用。Hadoop提供分布式文件系统和MapReduce,Spark则为内存计算提供快速处理能力。通过Python结合Spark和Hadoop,可在分布式环境中进行数据处理和分析。文章详细讲解了如何配置Python环境、安装Spark和Hadoop,以及使用Python编写和提交代码到集群进行计算。掌握这些技能有助于应对大数据挑战。
|
8天前
|
SQL 分布式计算 Hadoop
利用Hive与Hadoop构建大数据仓库:从零到一
【4月更文挑战第7天】本文介绍了如何使用Apache Hive与Hadoop构建大数据仓库。Hadoop的HDFS和YARN提供分布式存储和资源管理,而Hive作为基于Hadoop的数据仓库系统,通过HiveQL简化大数据查询。构建过程包括设置Hadoop集群、安装配置Hive、数据导入与管理、查询分析以及ETL与调度。大数据仓库的应用场景包括海量数据存储、离线分析、数据服务化和数据湖构建,为企业决策和创新提供支持。
39 1

热门文章

最新文章

相关实验场景

更多