华章计算机 + 关注
手机版

《Hadoop与大数据挖掘》——2.2 Hadoop配置及IDE配置

  1. 云栖社区>
  2. 华章计算机>
  3. 博客>
  4. 正文

《Hadoop与大数据挖掘》——2.2 Hadoop配置及IDE配置

华章计算机 2017-07-03 14:12:00 浏览1558 评论0

摘要: 本节书摘来自华章计算机《Hadoop与大数据挖掘》一书中的第2章,第2.2节,作者 张良均 樊哲 位文超 刘名军 许国杰 周龙 焦正升,更多章节内容可以访问云栖社区“华章计算机”公众号查看。 2.2 Hadoop配置及IDE配置 2.2.1 准备工作 上面的虚拟机参数配置只是参考,可以根据自身机器的实际情况进行调整。

本节书摘来自华章计算机《Hadoop与大数据挖掘》一书中的第2章,第2.2节,作者 张良均 樊哲 位文超 刘名军 许国杰 周龙 焦正升,更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2.2 Hadoop配置及IDE配置

2.2.1 准备工作

image

上面的虚拟机参数配置只是参考,可以根据自身机器的实际情况进行调整。

在配置好Hadoop集群所需机器后,先确认下集群拓扑,本次部署采用的集群拓扑如图2-16所示。

如文中未做说明,则所有操作都是在root用户下执行。但是,在生产环节,一般不会使用root用户,这点需要注意。

2.2.2 环境配置

1.安装JDK

(1)文件下载

到www.oracle.com网站上下载自己系统对应JDK版本。文件名如jdk-7u-linux-x64.tar.gz,注意下载64位的版本。

(2)解压文件

把下载下来的文件上传到Linux机器,并解压缩到某个路径下,如/usr/local目录。

mv jdk-7u<version>-linux-x64.tar.gz /usr/ local
tar zxvf jdk-7u<version>-linux-x64.tar.gz

(3)配置Java环境变量

编辑/etc/profile文件,在末尾加上Java配置,如代码清单2-1所示。

image

2.配置ssh无密码登录

1)生成公钥和私钥,执行ssh-keygen –t rsa,接着按3次Enter键即可,如代码清单2-2所示。

image
image

在~/.ssh目录生成两个文件,id_rsa为私钥,id_rsa.pub为公钥。

2)设置hosts文件。在/etc/hosts文件中配置IP与HOSTNAME的映射(IP根据自己机器情况设置),如代码清单2-3所示。

image

3)导入公钥到认证文件,执行ssh-copy-id命令,如代码清单2-4所示。

image

接着分别执行:

ssh-copy-id -i /root/.ssh/id_rsa.pub slave1
ssh-copy-id -i /root/.ssh/id_rsa.pub slave2
ssh-copy-id -i /root/.ssh/id_rsa.pub slave3

即可导入公钥到其他所有子节点。

4)验证。打开终端,直接输入ssh master、ssh slave1、ssh slave2、ssh slave3,如果可直接登录,而不需要输入密码,则ssh无密码登录配置成功。

[root@master ~]# ssh master
Last login: Tue Nov  3 18:39:41 2015 from 192.168.0.1

3.配置NTP

配置NTP主要是为了进行集群间的时间同步,需要注意在master、slave1、slave2、slave3节点分别执行“yum install ntp”,即可安装该软件。

假设将Master节点作为NTP服务主节点,那么其配置(修改/etc/ntp.conf文件)如代码清单2-5所示。

image

在slave1~slave3配置NTP,同样修改/etc/ntp.conf文件,内容如代码清单2-6所示。

image

在master、slave1、slave2、slave3节点执行“service ntpd start &chkconfig ntpd on”,即可启动并永久启动NTP服务。

4.配置Hadoop集群

上传Hadoop安装包到master机器,并解压缩到/usr/local目录,使用代码:

tar -zxf hadoop-2.6.0.tar.gz -C /usr/local

Hadoop配置涉及的配置文件有以下7个:

image

各个配置文件修改如下所示。

1)配置文件1:hadoop-env.sh。

该文件是Hadoop运行基本环境的配置,需要修改为JDK的实际位置。故在该文件中修改JAVA_HOME值为本机安装位置,如代码清单2-7所示。

image

2)配置文件2:yarn-env.sh。

该文件是YARN框架运行环境的配置,同样需要修改Java所在位置。在该文件中修改JAVA_HOME值为本机安装位置,如代码清单2-8所示。

image

3)配置文件3:slaves。

该文件里面保存所有slave节点的信息,如代码清单2-9所示。

image

4)配置文件4:core-site.xml,配置内容如代码清单2-10所示。

image

这个是Hadoop的核心配置文件,这里需要配置两个属性:fs.defaultFS配置了Hadoop的HDFS系统的命名,位置为主机的8020端口,这里需要注意替换hdfs://master:8020,中的斜体master,该名字为NameNode所在机器的机器名;hadoop.tmp.dir配置了Hadoop的临时文件的位置。

5)配置文件5:hdfs-site.xml,配置内容如代码清单2-11所示。

image
image

这个是HDFS相关的配置文件,dfs.namenode.name.dir和dfs.datanode.data.dir分别指定了NameNode元数据和DataNode数据存储位置;dfs.namenode.secondary.http-address配置的是SecondaryNameNode的地址,同样需要注意修改“master”为实际Secondary-NameNode地址;dfs.replication配置了文件块的副本数,默认就是3个,所以这里也可以不配置。

6)配置文件6:mapred-site.xml,配置内容如代码清单2-12所示。

image

这个是MapReduce相关的配置,由于Hadoop2.x使用了YARN框架,所以必须在ma-preduce.framework.name属性下配置yarn。mapreduce.jobhistory.address和mapreduce.job-history.webapp.address是与JobHistoryServer相关的配置,即运行MapReduce任务的日志相关服务,这里同样需要注意修改“master”为实际服务所在机器的机器名。

7)配置文件7:yarn-site.xml,配置内容如代码清单2-13所示。

image
image
image
image

该文件为YARN框架的配置,在最开始命名了一个名为yarn.resourcemanager.hostname的变量,这样在后面YARN的相关配置中就可以直接引用该变量了。其他配置保持不变即可。

将配置好的Hadoop复制到其他节点,直接执行如代码清单2-14所示命令即可(注意,本文使用的从节点名字是slave1、slave2、slave3,读者可根据自己机器实际情况修改)。

image

5.格式化NameNode

做完Hadoop的所有配置后,即可执行格式化NameNode操作。该操作会在NameNode所在机器初始化一些HDFS的相关配置,其命令如代码清单2-15所示。

image

若出现“Storage directory /data/hadoop/hdfs/name has been successsully formatted”的提示,则格式化成功(注意,/data/hadoop/hdfs/name目录就是前面配置的dfs.namenode.name.dir的值)。

2.2.3 集群启动关闭与监控

启动集群,只需要在master节点(NameNode服务所在节点)直接进入Hadoop安装目录,分别执行如代码清单2-16所示的命令即可。

image

关闭集群,同样只需要在master节点(NameNode服务所在节点)直接进入Hadoop安装目录,分别执行如代码清单2-17所示的命令即可(注意关闭顺序)。

image

Hadoop集群相关服务监控如表2-2所示,其监控示意分别如图2-17、图2-18、图2-19所示。

image

image

2.2.4 动手实践:一键式Hadoop集群启动关闭

在使用Hadoop的过程中,如果每次启动Hadoop集群都需要分别执行3次命令才能启动集群,那么每次集群启动或关闭都将很繁琐。为了减少这种操作,可以编写一个脚本来控制Hadoop集群的启动与关闭,所以本实验就是完成这个功能。

image

实验步骤:
1)学习Linux shell命令相关代码;
2)了解Hadoop集群启动关闭流程;
3)编写集群启动关闭shell脚本;
4)测试运行。

2.2.5 动手实践:Hadoop IDE配置

在书中的后续内容中,会针对Hadoop相关MapReduce程序进行讲解以及开发,一个好的程序讲解及代码编写环境,将会非常有利于对应的分析,所以本节就对Hadoop代码分析与开发环境配置做讲解。

image
image

3)打开eclipse,依次选择Window->Perspective->Open Perspective->Other->Map/Reduce,如图2-22、图2-23所示。

image

选中后,单击OK按钮,重启Eclipse。

4)单击图2-24中箭头所指小象图标,即可添加集群。

image

5)配置参数,如图2-25所示。

image

6)查看配置的集群,如图2-26、图2-27所示。

image

image

思考:
1)为什么要配置Hadoop IDE,不配置可以吗?还有其他的配置方式吗?

2)如果有其他方式配置Hadoop IDE,会是什么呢?

【云栖快讯】阿里巴巴小程序繁星计划,20亿补贴第一弹云应用立即开通购买,限量从速!  详情请点击

网友评论