HDFS 中常见的Timeout

简介:

前段时间遇到HDFS的各种超时,这里总结下遇到的超时:

IPC

1.IPC connect timeout:

ClientsetupConnection设置,2.0.3之前是20s,之后是可配置ipc.client.connect.timeout

2.IPC max idle timeipc.client.connection.maxidletime设置,默认20s,若在20scalls依然为空则主动关闭;在Server端该值为×2

3.IPC ping timeout:在Client端由ipc.ping.interval设置,默认1min,定期刷新最后更新时间.

4.RPC timeout:在call调用内由客户端设置

SOCKET

1.IPC 连接的Socket timeout:若rpctimeout>0则去rpctime,否则为ipc.ping.interval

2.Connect/Read timeoutdfs.client.socket-timeout,默认READ_TIMEOUT = 60 * 1000READ_TIMEOUT_EXTENSION= 5 * 1000,connect timeout还未分离(HDFS-1075)

3.Write timeoutdfs.datanode.socket.write.timeout,默认WRITE_TIMEOUT = 8 * 60 * 1000WRITE_TIMEOUT_EXTENSION= 5 * 1000


本文转自MIKE老毕 51CTO博客,原文链接:http://blog.51cto.com/boylook/1367248,如需转载请自行联系原作者


相关文章
|
5天前
|
存储 分布式计算 Hadoop
|
6天前
|
存储 分布式计算 资源调度
|
18天前
|
分布式计算 Hadoop
Hadoop【问题记录 01】【hadoop-3.1.3 单机版】【Attempting to operate on hdfs namenode as root】
【4月更文挑战第2天】Hadoop【问题记录 01】【hadoop-3.1.3 单机版】【Attempting to operate on hdfs namenode as root】
23 0
|
18天前
|
存储 分布式计算 Hadoop
Hadoop的Secondary NameNode在HDFS中的作用是什么?
Hadoop的Secondary NameNode在HDFS中的作用是什么?
51 0
|
存储 分布式计算 Hadoop
Hadoop : hdfs的客户端操作
Hadoop : hdfs的客户端操作
387 0
|
存储 消息中间件 分布式计算
使用 QJM 实现 HDFS 的 HA
如果对HDFS架构熟悉的话(如果不熟悉,可以通过HDFS架构了解),就应该知道,NameNode通过FsImage和EditLog两个文件管理DataNode的数据,Secondary NameNode会定期合并EditLog,以减少NameNode启动时的安全检查。
147 0
|
分布式计算 Java Hadoop
Hadoop之HDFS04【JavaAPI操作】
前面项目中我们是创建的java项目来演示的,但是hadoop相关的依赖太多了,不方便,本文通过maven项目来演示HDFS的java API操作
Hadoop之HDFS04【JavaAPI操作】
|
编解码 分布式计算 Hadoop
Spark HadoopRDD读取HDFS文件
- 源码分析Spark HadoopRDD是如何读取HDFS上的文件 - 分析HadoopRDD预分区的计算方式,非首个分区的开始位置计算 - 来三种情况分析,不同情部下HadoopRDD的分区计算方式
4540 0