HDFS 中常见的Timeout

简介:

前段时间遇到HDFS的各种超时,这里总结下遇到的超时:

IPC

1.IPC connect timeout:

ClientsetupConnection设置,2.0.3之前是20s,之后是可配置ipc.client.connect.timeout

2.IPC max idle timeipc.client.connection.maxidletime设置,默认20s,若在20scalls依然为空则主动关闭;在Server端该值为×2

3.IPC ping timeout:在Client端由ipc.ping.interval设置,默认1min,定期刷新最后更新时间.

4.RPC timeout:在call调用内由客户端设置

SOCKET

1.IPC 连接的Socket timeout:若rpctimeout>0则去rpctime,否则为ipc.ping.interval

2.Connect/Read timeoutdfs.client.socket-timeout,默认READ_TIMEOUT = 60 * 1000READ_TIMEOUT_EXTENSION= 5 * 1000,connect timeout还未分离(HDFS-1075)

3.Write timeoutdfs.datanode.socket.write.timeout,默认WRITE_TIMEOUT = 8 * 60 * 1000WRITE_TIMEOUT_EXTENSION= 5 * 1000


本文转自MIKE老毕 51CTO博客,原文链接:http://blog.51cto.com/boylook/1367248,如需转载请自行联系原作者


目录
打赏
0
0
0
0
69
分享
相关文章
Hadoop的Secondary NameNode在HDFS中的作用是什么?
Hadoop的Secondary NameNode在HDFS中的作用是什么?
193 0
使用 QJM 实现 HDFS 的 HA
如果对HDFS架构熟悉的话(如果不熟悉,可以通过HDFS架构了解),就应该知道,NameNode通过FsImage和EditLog两个文件管理DataNode的数据,Secondary NameNode会定期合并EditLog,以减少NameNode启动时的安全检查。
209 0
Hadoop-2.7.0中HDFS NameNode HA实现之DFSZKFailoverController、ZKFailoverController(一)
一、简介       DFSZKFailoverController是Hadoop-2.7.0中HDFS NameNode HA实现的中心组件,它负责整体的故障转移控制等。它是一个守护进程,通过main()方法启动,继承自ZKFailoverController。
3210 0
对HDFS的HA进行测试
查看目录 bin/hadfs dfs -ls / 报错: 报错 错误原因:是因为client在访问代理的时候出错了。找不到ns1。
1189 0