本来是用word写的，里面有一些截图，可是iteye的编辑器上传图片不方便，所以，附件中是原版word文档
一、 Hadoop安装
1.1 hosts文件修改
在每个结点修改hosts文件，配置节点IP与别名
Vi /etc/hosts
1.2 建立hadoop用户
Useradd username //添加用户
Passwd username //为用户生成密码
1.3 生成公私钥密钥对
用hadoop 用户登录
在各个节点上，分别使用 ssh-keygen –t rsa –f ~/.ssh/id_rsa来生成密钥
Cd ~/.ssh
cat id_rsa.pub >> authorized_keys
1.4 密钥合并和相互复制
将各个节点的authorized_keys 合并，并分发到每个节点，如果是从本地免密码登录远程主机，则把本现的id_rsa.pub复制到远程主机。
1.5 安装hadoop
从mirror.bit.edu.cn 用hadoop用户解压到安装目录,
进入hadoop 的conf 目录:
1、 修改core-site.xml
2、
配置 fs.default.name 属性, 即namenode 节点IP和端口
Hadoop.tmp.dir hadoop临时文件目录，弱不配置，则使用操作系统的/tmp，重启后/tmp文件删除，必须重新 格式化hdfs，所以，需要自定义临时目录。
2、修改hdfs-site.xml
dfs.name.dir namenode文件存放目录,此目录在namenode节点
dfs.data.dir dataNode 数据文件存放目录，应该目录分布在各dataNode 节点
dfs.replication 文件分割数量。小于等于 datanode数
3、修改mapred-site.xml
Mapred.job.tracker mareduce 作业跟踪器主机IP与端口，一般同namenodeIP，配置自定义
4、修改hadoop-env.sh
如图，找到 export_JAVA_HOME，去掉注释，并写上JDK路径
5、其它，在完全分布式安装中，还需要配置 master 和slaves master写nameNode的、slaves中写上各datanode的hostname,配置完后，将hadoop复制到集群中的其它节点。
配置完后，在 namenode上进入hadoop安装目录的bin 第一次使用，运行 hadoop dfs –format格式化文件系统，然后 使用 ./start-all.sh 来启动hadoop
成功启动后，输入JPS命令，如图：
因为我这里是伪分布式，所以namenode和datanode在同一台机上，若为完全分布式，则在datanode主机上查看datanode进程
二、HDFS 文件操作
1、命令行操作
1、列出hadoop 文件列表
Hadoop dfs –ls
详细的，查看API
一、 Hadoop安装
1.1 hosts文件修改
在每个结点修改hosts文件，配置节点IP与别名
Vi /etc/hosts
1.2 建立hadoop用户
Useradd username //添加用户
Passwd username //为用户生成密码
1.3 生成公私钥密钥对
用hadoop 用户登录
在各个节点上，分别使用 ssh-keygen –t rsa –f ~/.ssh/id_rsa来生成密钥
Cd ~/.ssh
cat id_rsa.pub >> authorized_keys
1.4 密钥合并和相互复制
将各个节点的authorized_keys 合并，并分发到每个节点，如果是从本地免密码登录远程主机，则把本现的id_rsa.pub复制到远程主机。
1.5 安装hadoop
从mirror.bit.edu.cn 用hadoop用户解压到安装目录,
进入hadoop 的conf 目录:
1、 修改core-site.xml
2、
配置 fs.default.name 属性, 即namenode 节点IP和端口
Hadoop.tmp.dir hadoop临时文件目录，弱不配置，则使用操作系统的/tmp，重启后/tmp文件删除，必须重新 格式化hdfs，所以，需要自定义临时目录。
2、修改hdfs-site.xml
dfs.name.dir namenode文件存放目录,此目录在namenode节点
dfs.data.dir dataNode 数据文件存放目录，应该目录分布在各dataNode 节点
dfs.replication 文件分割数量。小于等于 datanode数
3、修改mapred-site.xml
Mapred.job.tracker mareduce 作业跟踪器主机IP与端口，一般同namenodeIP，配置自定义
4、修改hadoop-env.sh
如图，找到 export_JAVA_HOME，去掉注释，并写上JDK路径
5、其它，在完全分布式安装中，还需要配置 master 和slaves master写nameNode的、slaves中写上各datanode的hostname,配置完后，将hadoop复制到集群中的其它节点。
配置完后，在 namenode上进入hadoop安装目录的bin 第一次使用，运行 hadoop dfs –format格式化文件系统，然后 使用 ./start-all.sh 来启动hadoop
成功启动后，输入JPS命令，如图：
因为我这里是伪分布式，所以namenode和datanode在同一台机上，若为完全分布式，则在datanode主机上查看datanode进程
二、HDFS 文件操作
1、命令行操作
1、列出hadoop 文件列表
Hadoop dfs –ls
详细的，查看API
微信公众号： 猿人谷
如果您认为阅读这篇博客让您有些收获，不妨点击一下右下角的【推荐】
如果您希望与我交流互动，欢迎关注微信公众号
本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接。
