HDFS进阶应用 配置NFS 网关
• NFS 网关用途
– 1.用户可以通过操作系统兼容的本地NFSv3客户端来阅览HDFS文件系统
– 2.用户可以从HDFS文件系统下载文档到本地文件系统
– 3.用户可以通过挂载点直接流化数据。支持文件附加,但是不支持随机写
– NFS 网关支持NFSv3和允许HDFS 作为客户端文件系统的一部分被挂载
• 特性与注意事项
– 不支持随机写
– 在非安全模式,运行网关的用户是代理用户
– 在安全模式时,Kerberos keytab中的用户是代理用户
– AIX NFS有一些知道的问题,不能让默认的HDFS NFS网关正常工作,如果想在 AIX 访问 NFS 网关需要配置下面的参数
<property>
<name>nfs.aix.compatibility.mode.enabled</name>
<value>true</value>
</property>
• 特性与注意事项
– HDFS超级用户是与NameNode进程本身具有相同标识的用户,超级用户可以执行任何操作,因为权限检查永远不会为超级用户失败。
<property>
<name>nfs.superuser</name>
<value>the_name_of_hdfs_superuser</value>
</property>
– 如果客户端安装允许访问时间更新,在某些Unix系统上,用户可以通过使用“noatime”安装来禁用访问时间更新
<property>
<name>dfs.namenode.accesstime.precision</name>
<value>0</value>
</property>
– nfs.dump.dir
– 用户需要更新文件转储目录参数。NFS客户端经常重新安排写操作,顺序的写操作会以随机到达NFS网关。这个目录常用于临时存储无序的写操作。对于每个文件,无序的写操作会在他们积累在内存中超过一定阈值(如。1 mb)被转储。需要确保有足够的空间的目录。例如,如果应用上传10个100M,那么这个转储目录推荐有1GB左右的空间,以便每个文件都发生最坏的情况。只有NFS网关需要在设置该属性后重启。
– nfs.exports.allowed.hosts
– 默认情况下,export可以被任何客户端挂载。为了更好的控制访问,可以设置属性。值字符串为机器名和访问策略,通过空格来分割。机器名的格式可以是单一的主机,Java的正则表达式或者IPv4地址。访问权限使用rw或ro来指定导出目录的读/写或机器只读访问。如果访问策略没被提供,默认为只读的。每个条目使用“;”来分割。
• 调试与日志排错
– 在配置 NFS 网关过程中经常会碰到各种各样的错误,如果出现了错误,打开调试日志是一个不错的选择
• log4j.property
– log4j.logger.org.apache.hadoop.hdfs.nfs=DEBUG
– log4j.logger.org.apache.hadoop.oncrpc=DEBUG
• core-site.xml
– hadoop.proxyuser.{nfsuser}.groups
– hadoop.proxyuser.{nfsuser}.hosts
– 这里的 nfsuser 是你机器上真实运行 nfsgw 的用户
– 在非安全模式,运行nfs网关的用户为代理用户
– groups 为挂载点用户所使用的组
– hosts 为挂载点主机地址
• hdfs-site.xml
– nfs.exports.allowed.hosts
– 设置允许访问 NFS 主机列与权限,默认 “ro”
<property>
<name>nfs.exports.allowed.hosts</name>
<value>* rw</value>
</property>
– dfs.namenode.accesstime.precision
– 关闭 access time
<property>
<name>dfs.namenode.accesstime.precision</name>
<value>3600000</value>
</property>
– nfs.dump.dir
– 设置转储目录
<property>
<name>nfs.dump.dir</name>
<value>/tmp/.hdfs-nfs</value>
</property>
– nfs.rtmax & nfs.wtmax
– 用户可以像访问本地文件系统的一部分一样访问HDFS,但硬链接和随机写还不支持。对于大文件I/O的优化,可以在mount的时候增加NFS传输的大小(rsize和wsize)。在默认情况下,NFS网关支持1MB作为最大的传输大小。更大的数据传输大小,需要在hdfs-site.xml中设置“nfs.rtmax” 和“nfs.wtmax”
– nfs.rtmax & nfs.wtmax
<property>
<name>nfs.rtmax</name>
<value>4194304</value>
</property>
<property>
<name>nfs.wtmax</name>
<value>1048576</value>
</property>
– nfs.port.monitoring.disabled
– 允许从没有权限的客户端挂载 nfs
<property>
<name>nfs.port.monitoring.disabled</name>
<value>false</value>
</property>
• nfs.map
– 系统管理员必须确保在NFS客户端的用户和在HDFS网关主机上的用户有相同的名称和UID。不同主机上创建的用户需要修改UID(例如使用“usermod -u 123myusername”),在NFS客户端或者NFS网关主机来进行。如果客户端的用户和NFS网关的用户 uid 不能保持一致需要我们配置 nfs.map 的静态映射关系
实验环境准备参考 http://blog.51cto.com/13558754/2066708
配置 NFS 网关
# cd /usr/local/hadoop/
# ./sbin/stop-all.sh
# jps
6598 Jps
# vim /etc/hosts
192.168.4.1 master
192.168.4.2 node1
192.168.4.3 node2
192.168.4.4 node3
192.168.4.5 nfsgw //添加新的主机
# for i in {1..5}
> do
> rsync -a /etc/hosts 192.168.4.${i}:/etc/hosts
> done
# scp /etc/yum.repos.d/yum.repo nfsgw:/etc/yum.repos.d/
yum.repo 100% 61 0.1KB/s 00:00
# ssh nfsgw
Last login: Wed Jan 31 08:20:55 2018 from master
# sed -ri "s/^(SELINUX=).*/\1disabled/" /etc/selinux/config ; yum -y remove firewalld
# reboot
// 添加用户
[root@nfsgw ~]# adduser -g 10 -u 1001 nfsuser
[root@nfsgw ~]# id nfsuser
uid=1001(nfsuser) gid=10(wheel) 组=10(wheel)
[root@master ~]# adduser -g 10 -u 1001 nfsuser
[root@master ~]# id nfsuser
[root@master ~]# cd /usr/local/hadoop/
[root@master hadoop]# cd etc/hadoop/
[root@master hadoop]# vim core-site.xml
<property>
<name>hadoop.proxyuser.nfsuser.groups</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.nfsuser.hosts</name>
<value>*</value>
</property>
[root@master hadoop]# for i in node{1..3}
> do
> rsync -a /usr/local/hadoop/etc/hadoop/ ${i}:/usr/local/hadoop/etc/hadoop/ -e "ssh"
> done
[root@master ~]# ssh nfsgw
[root@nfsgw ~]# yum -y install java-1.8.0-openjdk-devel.x86_64
[root@nfsgw ~]# cd /usr/local/
[root@nfsgw ~]# rsync -azSH --delete master:/usr/local/hadoop ./ -e "ssh" //同步hadoop
[root@nfsgw ~]# yum -y remove rpcbind nfs-util
[root@master ~]# cd /usr/local/hadoop/
[root@master hadoop]# ./sbin/start-dfs.sh //启动集群
[root@master hadoop]# jps
6755 NameNode
7062 Jps
6953 SecondaryNameNode
[root@master hadoop]# ./bin/hdfs dfsadmin -report //检查节点
[root@master hadoop]# ssh nfsgw
Last login: Wed Jan 31 08:26:48 2018 from master
[root@nfsgw ~]# cd /usr/local/hadoop/
[root@nfsgw hadoop]# cd etc/hadoop/
[root@nfsgw hadoop]# vim hdfs-site.xml
...
<property>
<name>nfs.exports.allowed.hosts</name>
<value>* rw</value> //允许那些主机访问权限
</property>
<property>
<name>dfs.namenode.accesstime.precision</name>
<value>3600000</value> //accesstime 更新时间
</property>
<property>
<name>nfs.dump.dir</name>
<value>/var/nfstemp</value> //转储目录
</property>
<property>
<name>nfs.rtmax</name>
<value>4194304</value> // 读文件 传输大小
</property>
<property>
<name>nfs.wtmax</name>
<value>1048576</value> //写文件 传输大小
</property>
<property>
<name>nfs.port.monitoring.disabled</name>
<value>false</value> // 允许客户端挂载
</property>
...
[root@nfsgw ~]# mkdir /var/nfstemp
[root@nfsgw ~]# chown 1001.10 /var/nfstemp/
[root@nfsgw ~]# setfacl -m u:nfsuser:rwx /usr/local/hadoop/logs/
[root@nfsgw ~]# cd /usr/local/hadoop/
– 启动 portmap 服务
[root@nfsgw hadoop]# ./sbin/hadoop-daemon.sh --script ./bin/hdfs start portmap
starting portmap, logging to /usr/local/hadoop/logs/hadoop-root-portmap-nfsgw.out
[root@nfsgw hadoop]# su nfsuser
– 启动 nfs3
[nfsuser@nfsgw hadoop]$ ./sbin/hadoop-daemon.sh --script ./bin/hdfs start nfs3
starting nfs3, logging to /usr/local/hadoop/logs/hadoop-nfsuser-nfs3-nfsgw.out
[nfsuser@nfsgw hadoop]$ jps
2728 Jps
2671 Nfs3
[nfsuser@nfsgw hadoop]$ exit
exit
[root@nfsgw hadoop]# jps
2738 Jps
2588 Portmap
2671 -- process information unavailable
– 这里要特别注意:
– 启动 portmap 需要使用 root 用户
– 启动 nfs3 需要使用 core-site 里面设置的用户
挂载 nfs
– 目前NFS v3仅使用TCP作为传输协议。 不支持NLM,因此需要安装选项“nolock”。 强烈建议使用安装选项“sync”,因为它可以最小化或避免重新排序写入,这将导致更可预测的吞吐量。 未指定同步选项可能会导致上传大文件时出现不可靠的行为
– 如果必须使用软安装,用户应该给它一个相对较长的超时(至少不小于主机上的默认超时)
# mount -t nfs -o vers=3,proto=tcp,nolock,sync,noatime,noacl 192.168.4.5:/ /mnt/
# ls /mnt/
input output tmp
