hadoop之HDFS源码分析---HDFS通信协议

  1. 云栖社区>
  2. 博客>
  3. 正文

hadoop之HDFS源码分析---HDFS通信协议

citibank 2018-06-24 22:52:17 浏览2156
展开阅读全文

一、HDFS中提供两种通信协议
1.Hadoop RPC接口:HDFS中基于Hadoop RPC框架实现的接口
2.流式接口:HDFS中基于TCP或者HTTP实现的接口

二、下面先讲Hadoop RPC接口
Hadoop RPC调用使得HDFS进程能够像本地调用一样调用另一个进程中的方法,目前Hadoop RPC调用基于Protobuf实现,具体底层细节后面再讲,本章主要介绍Hadoop RPC接口的定义。接口定义在org.apache.hadoop.hdfs.protocol和org.apache.hadoop.hdfs.server.protocol包中,包括以下几个接口:

  • ClientProtocol:客户端和名字节点间的接口;
  • ClientDatanodeProtocol:客户端与数据节点的接口(这个方法主要是用于客户端获取数据节点信息时调用,真正的数据读写交互在流式接口进行)
  • DatanodeProtocol:数据节点与名字节点通信接口
  • InterDatanodeProtocol:数据节点与数据节点间的通信接口
  • NamenodeProtocol:第二名字节点与名字节点间的接口
    其他接口:主要包括安全相关接口,HA相关接口
  1. ClientProtocol
    ClientProtocol定义了所有由客户端发起的,由Namenode响应的操作,这个接口有80多个方法,可以分为以下几类:

    • HDFS文件读相关的操作
    • HDFS文件写以及追加写的相关操作
    • 管理HDFS命名空间的相关操作
    • 系统问题与管理相关的操作
    • 快照相关的操作
    • 缓存相关的操作
    • 其他操作

(1)读数据相关的方法
ClientProtocol中与客户端读取文件相关的方法主要有两个:getBlockLocations()和reportBadBlocks()。
客户端调用getBlockLocations()方法获取HDFS文件指定范围内所有数据块的位置信息,每个数据块的位置信息指的是存储这个数据块副本的所有Datanode的信息,而且会按照与当前客户端的距离远近排序;
客户端来调用reportBadBlocks()方法向Namenode汇报错误的数据块信息。
(2)写/追加写数据相关的方法
在HDFS客户端操作中最重要的一部分就是写入一个新的HDFS文件,或者打开一个已有的HDFS文件执行追加写操作。ClientProtocol中定义了8种方法支持HDFS写操作:

  • create() 方法用于在HDFS的文件系统目录树种创建一个新的空文件。然后再调用addBlock()方法获取存储文件数据的数据块的位置信息,最后客户端根据位置信息建立数据流管道写入数据。
  • append()方法用于打开一个已有的文件,如果这个文件的最后一个数据块没有写满,,则返回这个数据块的位置信息,如果写满,则新建一个数据块返回信息。
  • addBlock()客户端调用addBlock()方法向指定文件添加一个新的数据块,并获取数据块副本的所有数据节点的位置信息。
  • complete()当客户端完成了整个文件的写入操作后,会调用complete()方法通知Namnode。
    以上是正常情况,如遇到错误时,会有以下方法:
  • abandonBlock()当客户端获取了一个新的申请的数据块,发现无法建立到存储这个数据块副本的某些数据节点单位连接时,会调用这个方法通知名字节点放弃这个数据块,之后客户端再次调用addBlock()方法获取新的数据块,并在参数中将无法链接的节点传给名字节点,避免再次分到这个节点上。
  • getAdditionalDatanode()和updatePipeline()如果客户端已经成功建立了数据管道,在客户端写某个数据块,存储这个数据块副本的某个数据节点出现错误时,客户端首先会调用getAdditionalDatanode()方法向Namenode申请一个新的Datanode来替代出现故障的Datanode。然后客户端会调用updateBlockForPipepline()方法向Namenode申请为这个数据块分配新的时间戳,这样故障节点上的没能写完整的数据块的时间戳就会过期,在后续的块汇报操作中会被删除,最后客户端就可以使用新的时间戳建立新的数据管道,来执行对数据块的写操作。数据流管道建立成功后,客户端还需要调用updatePipeline()方法更新Namenode中当前数据块的数据管道信息。
  • renewLease() 当写的过程中clientfazh发生异常时,对于任意一个Client打开的文件都需要Client定期调用该方法更新租约,如果Namenodechangshiji长时间没有收到Client的租约更新消息,就会认为Client发生故障,这是就会触发一次租约恢复操作,关闭文件并且同步所有数据节点上这个文件数据块的状态,确保HDFS系统中这个文件是正确且一致保存的。
    如果写的时候Namenode节点出错,就涉及HDFS的HA,后面再讲。

(3)命名空间管理的相关方法
ClientProtocol中有很多重要的一部分操作时对Namenode命名空间的修改,我们知道FileSystom类也定义了对文件系统命名空间修改操作的API,HDFS则满足FileSystom类抽象的所有方法。
(4)系统问题与管理操作
ClientProtocol中另一个重要的部分就是支持DFSAdmin工具的接口方法,DFSAdmin是供HDFS管理员管理HDFS集群的命令行工具。
(5)快照相关操作
用户可以为HDFS的任意路径创建快照,快照保存了一个时间点上HDFS某个路径中所有数据的拷贝,快照可以将失效的集群回滚到之前一个正常的时间点上。
(6)缓存相关操作
用户可以指定一些经常被使用或者高优先级任务对应的数据,让他们常驻内存而不被淘汰到磁盘上。
(7)其他操作

2.ClientDatanodeProtocol
ClientDatanodeProtocol定义了Client和Datanode之间的接口,可以分为两部分:一部分是支持HDFS文件读取操作,另一部分是支持DFSAdmin中与数据节点管理相关的命令。
(1)getReplicaVisibleLength()
客户端调用该方法从数据节点获取某个数据块副本真实的数据长度。当客户端读取一个文件时,需要获取这个文件对应的所有数据块的长度,用于建立数据块的输入流,然后读取数据。
(2)getBlockLocalPathInfo()
HDFS对于本地读取,也就是Client和Datanode在同一物理机上时,调用该方法优化了文件读取。
(3)refreshNamenoders()
在用户管理员命令行中有一个'hdfs dfsadmindatanodehost:port'命令,用于出发指定的Datanode重新加载配置文件,该命令底层就是调用这个接口。
(4)deleteBlockPool()
在用户管理员命令行中有一个'hdfs dfsadmindatanode-deleteBlockPooldatanode-host:port blockpoolId[force]'命令,用于从指定Datanode删除blockpoolId对应的块池,如果force参数被设置,则强制删除。
。。。

3.DatanodeProtocol
DatanodeProtocol是Datanode和Namenode间的接口,Datanode会使用这个接口与Namenode握手、注册、发送心跳、进行全量或增量的数据块汇报。Namenode会在Datanode的心跳响应中携带名字节点指令(唯一途径)。
DatanodeProtocol定义的方法分为三类:Datanode启动相关、心跳相关以及数据块读写相关。
(1)Datanode启动相关方法
一个完整的Datanode启动操作会与Namenode进行4次交互,首先调用versionRequest()与Namenode进行握手操作,然后调用registerDatanode()向Namenode注册当前的Datanode,接着调用blockReport()汇报Datanode上存储的所有数据块,最后调用cacheReport()汇报Datanode缓存的所有数据块。
(2)心跳相关方法
Datanode会定期(由dfs.heartbeat.interval配置项配置,默认3秒)向Namenode发送心跳,如果Namenode长时间没有接到Datanode发送的心跳,则Namenode会认为该Datanode失败。
(3)数据块读写相关方法
Datanode在进行数据块读写操作时与Namenode交互的方法包括repotBadBlocks(),blockReceivedAndDeleted()以及commitBlockSynchronization()方法。
Datanode会调用repotBadBlocks()方法向Namenode汇报损坏的数据块,Datanode会在三种情况下调用:DataBlockScanner线程定期扫描数据节点上储存的数据块,发现数据块的校验出现错误时;数据流管道写数据时,Datanode接受了一个新的数据块,进行数据块校验操作出现错误时;进行数据块复制操作,Datanode读取本地存储的数据块时,发现本地数据块副本的长度小于Namenode记录的长度时。
Datanode会定期(默认5分钟,不可更改)调用blockReceivedAndDeleted()方法向Namenode汇报Datanode新接受的数据块或者删除的数据块。
commitBlockSynchronization()方法用于在租约恢复操作时同步数据块的状态。
(4)其他方法

4.InterDatanodeProtocol
Datanode与Datanode之间的接口,主要用于租约恢复操作。

二、流式接口
流式接口是HDFS中基于TCP或HTTP实现的接口,在HDFS中,流式接口包括了基于TCP的DataTransferProtocol接口,以及HA架构中的Active Namenode和Standby Namenode之间的HTTP接口。
1.DataTransferProtocol

2.Active Namenode和Standby Namenode之间的HTTP接口
由于Standby Namenode成功地将读入的editlog文件与当前的命名空间合并,从而始终保持着一个最新版本的命名空间,所以Standby Namenode只需定期将自己的命名空间写入一个新的fsimage文件,并通过HTTP协议将这个fsimage文件传回Active Namenode即可。

网友评论

登录后评论
0/500
评论
citibank
+ 关注