本节书摘来自华章计算机《Hadoop与大数据挖掘》一书中的第2章,第2.2节,作者 张良均 樊哲 位文超 刘名军 许国杰 周龙 焦正升,更多章节内容可以访问云栖社区“华章计算机”公众号查看。
2.2 Hadoop配置及IDE配置
2.2.1 准备工作
上面的虚拟机参数配置只是参考,可以根据自身机器的实际情况进行调整。
在配置好Hadoop集群所需机器后,先确认下集群拓扑,本次部署采用的集群拓扑如图2-16所示。
如文中未做说明,则所有操作都是在root用户下执行。但是,在生产环节,一般不会使用root用户,这点需要注意。
2.2.2 环境配置
1.安装JDK
(1)文件下载
到www.oracle.com网站上下载自己系统对应JDK版本。文件名如jdk-7u-linux-x64.tar.gz,注意下载64位的版本。
(2)解压文件
把下载下来的文件上传到Linux机器,并解压缩到某个路径下,如/usr/local目录。
mv jdk-7u<version>-linux-x64.tar.gz /usr/ local
tar zxvf jdk-7u<version>-linux-x64.tar.gz
(3)配置Java环境变量
编辑/etc/profile文件,在末尾加上Java配置,如代码清单2-1所示。
2.配置ssh无密码登录
1)生成公钥和私钥,执行ssh-keygen –t rsa,接着按3次Enter键即可,如代码清单2-2所示。
在~/.ssh目录生成两个文件,id_rsa为私钥,id_rsa.pub为公钥。
2)设置hosts文件。在/etc/hosts文件中配置IP与HOSTNAME的映射(IP根据自己机器情况设置),如代码清单2-3所示。
3)导入公钥到认证文件,执行ssh-copy-id命令,如代码清单2-4所示。
接着分别执行:
ssh-copy-id -i /root/.ssh/id_rsa.pub slave1
ssh-copy-id -i /root/.ssh/id_rsa.pub slave2
ssh-copy-id -i /root/.ssh/id_rsa.pub slave3
即可导入公钥到其他所有子节点。
4)验证。打开终端,直接输入ssh master、ssh slave1、ssh slave2、ssh slave3,如果可直接登录,而不需要输入密码,则ssh无密码登录配置成功。
[root@master ~]# ssh master
Last login: Tue Nov 3 18:39:41 2015 from 192.168.0.1
3.配置NTP
配置NTP主要是为了进行集群间的时间同步,需要注意在master、slave1、slave2、slave3节点分别执行“yum install ntp”,即可安装该软件。
假设将Master节点作为NTP服务主节点,那么其配置(修改/etc/ntp.conf文件)如代码清单2-5所示。
在slave1~slave3配置NTP,同样修改/etc/ntp.conf文件,内容如代码清单2-6所示。
在master、slave1、slave2、slave3节点执行“service ntpd start &chkconfig ntpd on”,即可启动并永久启动NTP服务。
4.配置Hadoop集群
上传Hadoop安装包到master机器,并解压缩到/usr/local目录,使用代码:
tar -zxf hadoop-2.6.0.tar.gz -C /usr/local
Hadoop配置涉及的配置文件有以下7个:
各个配置文件修改如下所示。
1)配置文件1:hadoop-env.sh。
该文件是Hadoop运行基本环境的配置,需要修改为JDK的实际位置。故在该文件中修改JAVA_HOME值为本机安装位置,如代码清单2-7所示。
2)配置文件2:yarn-env.sh。
该文件是YARN框架运行环境的配置,同样需要修改Java所在位置。在该文件中修改JAVA_HOME值为本机安装位置,如代码清单2-8所示。
3)配置文件3:slaves。
该文件里面保存所有slave节点的信息,如代码清单2-9所示。
4)配置文件4:core-site.xml,配置内容如代码清单2-10所示。
这个是Hadoop的核心配置文件,这里需要配置两个属性:fs.defaultFS配置了Hadoop的HDFS系统的命名,位置为主机的8020端口,这里需要注意替换hdfs://master:8020,中的斜体master,该名字为NameNode所在机器的机器名;hadoop.tmp.dir配置了Hadoop的临时文件的位置。
5)配置文件5:hdfs-site.xml,配置内容如代码清单2-11所示。
这个是HDFS相关的配置文件,dfs.namenode.name.dir和dfs.datanode.data.dir分别指定了NameNode元数据和DataNode数据存储位置;dfs.namenode.secondary.http-address配置的是SecondaryNameNode的地址,同样需要注意修改“master”为实际Secondary-NameNode地址;dfs.replication配置了文件块的副本数,默认就是3个,所以这里也可以不配置。
6)配置文件6:mapred-site.xml,配置内容如代码清单2-12所示。
这个是MapReduce相关的配置,由于Hadoop2.x使用了YARN框架,所以必须在ma-preduce.framework.name属性下配置yarn。mapreduce.jobhistory.address和mapreduce.job-history.webapp.address是与JobHistoryServer相关的配置,即运行MapReduce任务的日志相关服务,这里同样需要注意修改“master”为实际服务所在机器的机器名。
7)配置文件7:yarn-site.xml,配置内容如代码清单2-13所示。
该文件为YARN框架的配置,在最开始命名了一个名为yarn.resourcemanager.hostname的变量,这样在后面YARN的相关配置中就可以直接引用该变量了。其他配置保持不变即可。
将配置好的Hadoop复制到其他节点,直接执行如代码清单2-14所示命令即可(注意,本文使用的从节点名字是slave1、slave2、slave3,读者可根据自己机器实际情况修改)。
5.格式化NameNode
做完Hadoop的所有配置后,即可执行格式化NameNode操作。该操作会在NameNode所在机器初始化一些HDFS的相关配置,其命令如代码清单2-15所示。
若出现“Storage directory /data/hadoop/hdfs/name has been successsully formatted”的提示,则格式化成功(注意,/data/hadoop/hdfs/name目录就是前面配置的dfs.namenode.name.dir的值)。
2.2.3 集群启动关闭与监控
启动集群,只需要在master节点(NameNode服务所在节点)直接进入Hadoop安装目录,分别执行如代码清单2-16所示的命令即可。
关闭集群,同样只需要在master节点(NameNode服务所在节点)直接进入Hadoop安装目录,分别执行如代码清单2-17所示的命令即可(注意关闭顺序)。
Hadoop集群相关服务监控如表2-2所示,其监控示意分别如图2-17、图2-18、图2-19所示。
2.2.4 动手实践:一键式Hadoop集群启动关闭
在使用Hadoop的过程中,如果每次启动Hadoop集群都需要分别执行3次命令才能启动集群,那么每次集群启动或关闭都将很繁琐。为了减少这种操作,可以编写一个脚本来控制Hadoop集群的启动与关闭,所以本实验就是完成这个功能。
实验步骤:
1)学习Linux shell命令相关代码;
2)了解Hadoop集群启动关闭流程;
3)编写集群启动关闭shell脚本;
4)测试运行。
2.2.5 动手实践:Hadoop IDE配置
在书中的后续内容中,会针对Hadoop相关MapReduce程序进行讲解以及开发,一个好的程序讲解及代码编写环境,将会非常有利于对应的分析,所以本节就对Hadoop代码分析与开发环境配置做讲解。
3)打开eclipse,依次选择Window->Perspective->Open Perspective->Other->Map/Reduce,如图2-22、图2-23所示。
选中后,单击OK按钮,重启Eclipse。
4)单击图2-24中箭头所指小象图标,即可添加集群。
5)配置参数,如图2-25所示。
6)查看配置的集群,如图2-26、图2-27所示。
思考:
1)为什么要配置Hadoop IDE,不配置可以吗?还有其他的配置方式吗?
2)如果有其他方式配置Hadoop IDE,会是什么呢?