搭建hadoop集群前期准备

  1. 云栖社区>
  2. 博客>
  3. 正文

搭建hadoop集群前期准备

cc君 2018-02-06 13:40:18 浏览1866

一、搭建六台虚拟机

六台虚拟机一台作为主节点,4台作为从节点,一台作为客户机

二、配置网络

1. 打开VMware菜单栏的编辑选项卡,打开虚拟网络编辑器 3fa0345c152451c02fdacfa5cdf71bea7829f00d 2.查看VMnet8的信息,网络类型选择NET模式,查看子网IP(测试机):192.168.120. DHCP选择框全部选中 79e5c6b39070fc8b93c88699b4c2ebe77a04e8cb 3.配置/etc/sysconfig/network-scripts/ifcfg-ens33 配置文件编写如下(以master节点为例):
TYPE="Ethernet"
BOOTPROTO="static"
DEFROUTE="yes"
PEERDNS="yes"
PEERROUTES="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_PEERDNS="yes"
IPV6_PEERROUTES="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="0ba00b10-d901-4920-903e-7556378a58c0"
DEVICE="ens33"
ONBOOT="yes"
GATEWAY="192.168.120.2"
IPADDR="192.168.120.28"
NETMSAK="255.255.255.0"
DNS1="192.168.120.2"
0ea499e735d82ba40c3a6a4d1c24777bcd665ece
4.保存文件,重启网卡,systemctl resatrt network.service。尝试ping通集群和外网。
970551e7e79d3ccba37c84fc325dca1ef16e40e9 5.其他节点同理

三、配置ssh互信

1.设置用户文件,打开/etc/hosts。加入集群的ip地址和主机名(起的名字,和hostname不一定一样) c650eb478670c648c810f5f72b39d6b592f28a9c 保存退出 2.建立循环变量a.txt,用for循环讲hosts文件拷贝到集群其他机器上。 for x in `cat ~/a.txt`; do echo $x;scp /etc/hosts $x:/etc/hosts;done; 注:普及一下scp命令。例如:scp -r /root/tools/hadoop-2.7.4.tar.gz root@slave2:/root/tools/。-r 表示递归调用,拷贝目录以及子目录。后面接上需要拷贝的目录。在后面是传出机器的用户名。@主机名。传出目录。 3.获取master的密钥 ssh-keygen 设置免密登陆,即密码为空,直接回车即可。 4.将master获取的公钥传给从节点 ssh-copy-id slave1(设备名) 5.用ssh 设备名 检测是否可以ssh远程登陆

四、关闭防火墙

1、关闭防火墙(重启后恢复):systemctl stop firewalld.service 2、禁止防火墙开机启动:systemctl disable firewalld.service

五、关闭selinux

1、临时关闭(不用重启):setenforce 0 2、永久关闭(需要重启生效):编辑/etc/selinux/config文件 将SELINUX=enforcing改为SELINUX=disabled 474748e99706dbf102b867194683be23e03829ce 3、查看selinux状态: [root@master ~]# getenforce Permissive 4、修改所有节点的selinux

六、修改主机名

1、查看主机名:hostname 2、更改主机名:hostnamectl set-hostname 主机名

七、安装jdk

1、查看当前的openjdk信息:rpm -qa|grep openjdk 2、删除所有openjdk:rpm -e --nodeps XXX 3、下载rpm包(也可用for循环统一拷贝) 4、安装jdk:rpm -ivh jdk-8u101-linux-x64.rpm 5、查看jdk路径(默认路径在/usr/java中):find / -name java* 6、配置环境变量(按照自己的jdk版本配置):vim /etc/profile JAVA_HOME=/usr/java/jdk1.8.0_101/ export JRE_HOME=/usr/java/jdk1.8.0_101//jre export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib 7、查看jdk是否安装成功,版本一致则安装成功:java -version 8、从节点同理配置

八、重启机器

ps:第一次写博客,有点小激动,如有错误,还请多多指正QAQ