备案控制台
探索云世界
开发者社区 大数据 文章 正文

三台PC服务器部署Hadoop HA（Hadoop 高可用性架构）

2016-08-30 1364
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
服务治理 MSE Sentinel/OpenSergo，Agent数量 不受限
简介： 写在前边的话：        转载请注明出处：@http://blog.csdn.net/gamer_gyt，Thinkagmer 撰写        之前是在自己电脑上部署的hadoop集群，但并未涉及到HA配置，这次将集群迁移到PC服务器，但是问题来了，只有三台，但是我还想配置HA，PC服务器是CentOS6.5，原来想着在上边部署VM，从而部署HA集群，但经测试，未果，遂弃之，就想到了在三台机器上部署HA集群。

写在前边的话：

        转载请注明出处：@http://blog.csdn.net/gamer_gyt，Thinkagmer 撰写

        之前是在自己电脑上部署的hadoop集群，但并未涉及到HA配置，这次将集群迁移到PC服务器，但是问题来了，只有三台，但是我还想配置HA，PC服务器是CentOS6.5，原来想着在上边部署VM，从而部署HA集群，但经测试，未果，遂弃之，就想到了在三台机器上部署HA集群。

         hadoop伪分布部署参考：点击打开链接
         hadoop单机版部署参考：点击打开链接
         zookeeper,hive,hbase的分布式部署参考：点击链接
         Spark，Sqoop，Mahout的分布式部署参考：点击链接

         步骤和部署hadoop集群（点击阅读）是一样的，只是这里加入了HA的一些配置，记录如下

         关于HA架构的知识请移步该篇博客：Hadoop 容错之1.X的单点故障 到 2.X的HA和HDFS Federation


一：架构说明

     IP                            hostname               role

    192.168.132.27       master1                  主节点

    192.168.132.28       master2                  备份主节点

    192.168.132.29       slaver1                    从节点


    zookeeper的三个节点集群，部署在这三台机子上


二：部署Zookeeper

       Hadoop HA的部署依赖于ZK来切换主节点，所以在部署Hadoop HA之前需要先把Zookeeper集群搞定，部署参考：点击阅读


三：部署HA

       1：文件配置

       除了配置文件mapred-site.xml，core-site.xml，hdfs-site.xml，yarn-site.xml之外和hadoo集群部署一样，这里不做陈述，可参考：点击阅读

       mapred-site.xml：

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

       core-site.xml：

<configuration>
  <!-- 指定hdfs的nameservice为ns -->
  <property>    
      <name>fs.defaultFS</name>    
      <value>hdfs://master</value>    
      <!--1.x中为fs.default.name， 一定得是namenode的hostname或者 ip，并且不用加端口号（这里的名称与HA配置hdfs-site.xml中的dfs.nameservices必须保持一致） -->  
  </property>
 
  <property>  
    <name>hadoop.tmp.dir</name>  
    <value>/opt/bigdata/hadoop/tmp</value>  
    <!-- 指定hadoop临时目录 -->
  </property>   

  <!-- 配置HA时才用配置该项 -->
  <property>
    <name>ha.zookeeper.quorum</name>
    <value>master1:2181,master2:2181,slaver1:2181</value>
    <!--各个ZK节点的IP/host，及客户端连接ZK的端口，该端口需与zoo.cfg中的 clientPort一致！ -->
  </property>
</configuration>

       hdfs-site.xml：

<configuration>
<property>  
    <name>dfs.replication</name>  
    <value>2</value>  
  </property>  
  <property>  
    <name>dfs.namenode.name.dir</name>  
    <value>file:///opt/bigdata/hadoop/dfs/name</value>  
  </property>  
  <property>  
    <name>dfs.datanode.data.dir</name>  
    <value>file:///opt/bigdata/hadoop/dfs/data</value>  
  </property>  
  <property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
    <!-- 在NN和DN上开启WebHDFS (REST API)功能,不是必须 --> 
  </property>

  <!-- HA配置需要加如下配置-->
  <property>
    <name>dfs.nameservices</name>
    <value>master</value>
    <!--给hdfs集群起名字，这个名字必须和core-site中的统一，且下面也会用到该名字，需要和core-site.xml中的保持一致 -->
  </property>

  <property>
    <name>dfs.ha.namenodes.master</name>
    <value>nn1,nn2</value>
    <!-- master1下面有两个NameNode，分别是nn1，nn2,指定NameService是cluster1时的namenode有哪些，这里的值也是逻辑名称，名字随便起，相互不重复即可 -->
  </property>

  <property>
    <name>dfs.namenode.rpc-address.master.nn1</name>
    <value>master1:9000</value>
    <!-- nn1的RPC通信地址 -->
  </property>

  <property>
    <name>dfs.namenode.rpc-address.master.nn2</name>
    <value>master2:9000</value>
    <!-- nn2的RPC通信地址 -->
  </property>

  <property>
    <name>dfs.namenode.http-address.master.nn1</name>
    <value>master1:50070</value>
    <!-- nn1的http通信地址 -->
  </property>
  <property>
    <name>dfs.namenode.http-address.master.nn2</name>
    <value>master2:50070</value>
    <!-- nn2的http通信地址 -->
  </property>

  <property>
    <name>dfs.namenode.servicerpc-address.master.nn1</name>
    <value>master1:53310</value>
  </property>

  <property>
    <name>dfs.namenode.servicerpc-address.master.nn2</name>
    <value>master2:53310</value>
  </property>

  <property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://master1:8485;master2:8485;slaver1:8485/master</value>
    <!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
  </property> 

  <property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/opt/bigdata/hadoop/dfs/jndata</value>
    <!-- 指定JournalNode在本地磁盘存放数据的位置 -->
  </property>

  <property>
    <name>dfs.ha.automatic-failover.enabled</name>  
    <value>true</value>
    <!-- 开启NameNode失败自动切换 -->
  </property>

  <property>
    <name>dfs.client.failover.proxy.provider.master</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    <!-- 配置失败自动切换实现方式 -->
  </property>

  <property>
    <name>dfs.ha.fencing.methods</name>
    <value>
      sshfence
      shell(/bin/true)
    </value>
    <!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
  </property>

  <property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/root/.ssh/id_rsa</value>
    <!-- 使用sshfence隔离机制时需要ssh免登陆 -->
  </property>

  <property>
    <name>dfs.ha.fencing.ssh.connect-timeout</name>
    <value>3000</value>
    <!-- 配置sshfence隔离机制超时时间 -->
  </property>

</configuration>

       yarn-site.xml：

<configuration>

<!-- Site specific YARN configuration properties -->

  <property>
    <name>yarn.resourcemanager.ha.enabled</name>
    <value>true</value>
    <!-- 开启RM高可用 -->
  </property>
  
  <property>
    <!--启动自动故障转移,默认为false-->
    <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
    <value>true</value>
  </property>

  <property>
    <!--启用一个内嵌的故障转移，与ZKRMStateStore一起使用。-->
    <name>yarn.resourcemanager.ha.automatic-failover.embedded</name>
    <value>true</value>
  </property>
 
  <property>
    <name>yarn.resourcemanager.cluster-id</name>
    <value>yrc</value>
    <!-- 指定RM的cluster id -->
  </property>

  <property>
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2</value>
    <!-- 指定RM的名字 -->
  </property>
 
  <property>
    <name>yarn.resourcemanager.hostname.rm1</name>
    <value>master1</value>
    <!-- 分别指定RM的地址 -->
  </property>
  
  <property>
    <name>yarn.resourcemanager.hostname.rm2</name>
    <value>master2</value>
    <!-- 分别指定RM的地址 -->
  </property>

  <property>
    <name>yarn.resourcemanager.ha.id</name>
    <value>rm1</value>     
    <!--如果是在主NN上 这里写rm1   如果这个配置文件是在备NN上 这里写rm2，否则RM的高可用会出问题-->
    <description>If we want to launch more than one RM in single node, we need this configuration</description>
  </property> 

  <property>  
    <name>yarn.resourcemanager.recovery.enabled</name>  
    <value>true</value>  
  </property>  

  <property>  
    <name>yarn.resourcemanager.store.class</name>  
    <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>  
  </property>    

  <property>
    <name>yarn.resourcemanager.zk-address</name>
    <value>master1:2181,master2:2181,slaver1:2181</value>
    <!-- 指定zk集群地址 -->
  </property>

  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>

</configuration>

       2：启动服务，测试NameNode的自动切换

       PS：一定要注意启动的顺序，否则会出现各种各样的错误，亲测

       每台机器上启动Zookeeper：bin/zkServer.sh start 

       zookeeper集群格式化（任意一个主节点上执行即可）：bin/hdfs zkfc -formatZK 

       每台机器上启动 journalnode：sbin/hadoop-daemon.sh start journalnode （如果这里不启动的话，在进行hdfs格式化的时候就会报错，同时这个进程只需在格式化的时候启动，后续启动服务则不需要）

       hdfs集群格式化（master1上进行）：bin/hadoop namenode -format

       看到 “0” 表示成功了

       

       master1机器上启动服务：sbin/start-dfs.sh      sbin/start-yarn.sh

       执行jps查看进行如下（master1，master2，slaver1）：

            

       master1（192.168.132.27）的web界面显示如下：

       

         备用NN同步主NN的元数据信息（master2上执行）： bin/hdfs namenode -bootstrapStandby

         启动备用NN（master2上执行）： sbin/hadoop-daemon.sh start namenode

         执行jps（master2上执行）：

         

         Web访问：



         测试主NN和备用NN的切换：kill掉主NN进程  kill namenode_id

         再次刷新master2对应的web，实现自动切换：

    


         3：测试Resourcemanager自动切换

              访问主NN的8088端口如下：

    

            备用NN的8088端口：

      

       kill 掉主NN的resourcemanager服务再次访问从NN的8088端口

       

        OK！大功告成

四：遇见的问题

       1：NameNode格式化失败

            错误：failed on connection exception: java.net.ConnectException: Connection refused

            解决办法：先启动Zookeeper集群，在用sbin/hadoop-daemon.sh start journalnode 启动各个NameNode上的JournalNode进程，然后再进行格式化

            该错误参考博客：http://blog.csdn.net/u014729236/article/details/44944773

     2：Web显示live nodes 为 0

       

        解决办法：注释掉机子上 hosts文件中的原本的两行

        

     3：master2的NameNode和 ResourceManager不能启动

          查看日志发现错误 
2016-08-30 06:10:57,558 INFO org.apache.hadoop.http.HttpServer2: HttpServer.start() threw a non Bind IOException
java.net.BindException: Port in use: master1:8088
        at org.apache.hadoop.http.HttpServer2.openListeners(HttpServer2.java:919)
        at org.apache.hadoop.http.HttpServer2.start(HttpServer2.java:856)
        at org.apache.hadoop.yarn.webapp.WebApps$Builder.start(WebApps.java:274)
        at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.startWepApp(ResourceManager.java:974)
        at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.serviceStart(ResourceManager.java:1074)
        at org.apache.hadoop.service.AbstractService.start(AbstractService.java:193)
        at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.main(ResourceManager.java:1208)
Caused by: java.net.BindException: Cannot assign requested address
        at sun.nio.ch.Net.bind0(Native Method)
        at sun.nio.ch.Net.bind(Net.java:444)
        at sun.nio.ch.Net.bind(Net.java:436)
        at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:214)
        at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74)
        at org.mortbay.jetty.nio.SelectChannelConnector.open(SelectChannelConnector.java:216)
        at org.apache.hadoop.http.HttpServer2.openListeners(HttpServer2.java:914)
        ... 6 more
          端口被占用了，这时候要修改yarn-site.xml 中 
 <property>
    <name>yarn.resourcemanager.ha.id</name>
    <value>rm2</value>
    <description>If we want to launch more than one RM in single node, we need this configuration</description>
  </property>
         此时再次启动OK

      4：NameNode不能自动切换

           hdfs-site.xml通过dfs.ha.fencing.methods控制自动切换的方法， sshfence是系统默认的并不能自动切换，这里可以换成 
<property>
    <name>dfs.ha.fencing.methods</name>
    <value>shell(/bin/true)</value>
    <!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
  </property>
 

五：总结

       在配置的过程中遇到了很多问题，参考了很多资料，但很多事情就是看着别人很顺利的完成，可是到了你这里就会出现各种错误，殊不知别人也是经历过各种调试才出的结果，所以不要灰心，在配置的过程中多看看日志，所有的错误都会在日志中显示，相信你会成功的。
文章标签：
云数据库 ClickHouse
微服务引擎
分布式计算
Hadoop
机器学习/深度学习
Shell
SQL
网络安全
网络架构
Spark
HIVE
API
关键词：
云服务器 ECS部署
架构hadoop
hadoop架构
部署hadoop
服务器架构
thinkgamer.cn
目录
相关文章
听风de歌
|
12天前
|
存储 分布式计算 Hadoop
大数据处理架构Hadoop
【4月更文挑战第10天】Hadoop是开源的分布式计算框架，核心包括MapReduce和HDFS，用于海量数据的存储和计算。具备高可靠性、高扩展性、高效率和低成本优势，但存在低延迟访问、小文件存储和多用户写入等问题。运行模式有单机、伪分布式和分布式。NameNode管理文件系统，DataNode存储数据并处理请求。Hadoop为大数据处理提供高效可靠的解决方案。
听风de歌
35 2
NTP校时服务器
|
29天前
|
定位技术
GPS北斗卫星同步时钟（时间同步服务器）建设施工部署方案
GPS北斗卫星同步时钟（时间同步服务器）建设施工部署方案
NTP校时服务器
119 2
GPS北斗卫星同步时钟（时间同步服务器）建设施工部署方案
游客wmen2wljmyuqy
|
5天前
|
Java 应用服务中间件 Linux
在阿里云服务器上部署Tomcat详细图文详解
本文介绍了在阿里云服务器上安装和配置JDK和Tomcat的步骤。首先，需要注册阿里云账号并进行实名认证，然后购买并设置服务器。接着，通过File Zilla连接服务器，创建Java和Tomcat的安装目录，并将JDK和Tomcat的tar.gz文件上传到服务器，解压并重命名。之后，配置JDK的环境变量，将catalina.sh复制到/etc/init.d/目录下，并修改相关配置。最后，启动Tomcat并配置安全组规则，确保可以通过公网访问。
游客wmen2wljmyuqy
37 1
初晴@ 浅笑
|
5天前
|
弹性计算 Java Linux
阿里云服务器搭建部署宝塔详细流程
该内容是一个阿里云服务器和域名的配置指南。首先，需注册阿里云账号并进行企业实名认证。接着，选购服务器如2核2G1兆的Linux系统，并购买域名。完成域名备案后，进行域名解析和ICP备案。然后，通过远程连接登录服务器，重置密码，安装宝塔面板。在安全组中开启宝塔面板随机生成的端口。最后，登录宝塔面板安装LNMP环境，配置数据库如MySQL和Redis，部署JDK、Tomcat，上传前端和后端项目以实现上线。
初晴@ 浅笑
26 1
游客wmen2wljmyuqy
|
6天前
|
弹性计算 JavaScript Java
阿里云服务器搭建部署宝塔详细流程
以下是内容的摘要： 本文主要介绍了在阿里云上创建和配置服务器环境的步骤，包括注册阿里云账号、实名认证、购买和设置服务器、域名的获取与备案、以及使用宝塔面板安装和配置环境。首先，用户需要注册阿里云账号并进行实名认证，选择合适的服务器配置。接着，购买服务器后，要准备并备案域名，以便通过友好的网址访问网站。在服务器上安装宝塔面板，可以方便地管理和配置LAMP/LNMP/Tomcat/Node.js等应用环境。完成这些步骤后，用户还需要在宝塔面板中安装MySQL、Redis等数据库，部署Java或Vue项目，并配置相关端口。最后，将前端项目打包上传至服务器，并设置站点，即可实现网站的上线。
游客wmen2wljmyuqy
46 1
游客wmen2wljmyuqy
|
6天前
|
应用服务中间件 Linux 开发工具
如何在阿里云服务器快速搭建部署Nginx环境
以下是内容的摘要： 本文档主要介绍了在阿里云上购买和配置服务器的步骤，包括注册阿里云账号、实名认证、选择和购买云服务器、配置安全组、使用Xshell和Xftp进行远程连接和文件传输，以及安装和配置Nginx服务器的过程。在完成这些步骤后，你将能够在服务器上部署和运行自己的网站或应用。
游客wmen2wljmyuqy
74 1
游客koxsy2lzz7wl4
|
8天前
|
NoSQL 关系型数据库 MySQL
阿里云服务器部署项目流程
本文主要讲解阿里云服务器的部署，如何选择配置等
游客koxsy2lzz7wl4
45 6
游客koxsy2lzz7wl4
|
11天前
|
Java 应用服务中间件 Linux
阿里云服务器部署多个tomcat
阿里云服务器部署多个tomcat
游客koxsy2lzz7wl4
24 0
jianz123
|
14天前
|
分布式计算 Hadoop Java
centos 部署Hadoop-3.0-高性能集群（一）安装
centos 部署Hadoop-3.0-高性能集群（一）安装
jianz123
15 0
qtuzunbex43fk
|
1月前
|
域名解析 弹性计算 数据可视化
如何使用云服务器ECS搭建网站？阿里云云服务器ECS部署网站新手教程
本文介绍了在阿里云ECS上自助建站的流程。建站方式包括自助建站、模板建站和定制建站，适合个人或小企业用户。建站步骤涉及准备服务器、配置安全组规则、部署网站、购买和备案域名以及解析域名。此外，文章还提及了产品计费和常见问题，提供相关服务如架构设计、迁云服务和基础设置服务等。
qtuzunbex43fk
394 0

热门文章

最新文章

  • 1
    构建高效微服务架构：从理论到实践
  • 2
    云原生架构的未来演进：打造灵活、高效的企业IT基础
  • 3
    LAMP架构调优（十）——Apache禁止指定目录PHP解析与错误页面优化
  • 4
    高效后端开发实践：构建可扩展的微服务架构
  • 5
    图像处理场景下的Serverless架构
  • 6
    构建高效可扩展的微服务架构
  • 7
    构建未来：云原生架构在企业数字化转型中的关键作用
  • 8
    构建高性能微服务架构：后端开发的最佳实践
  • 9
    电子好书发您分享《PolarDB分布式版架构介绍》
  • 10
    【分布式技术专题】「分布式技术架构」MySQL数据同步到Elasticsearch之N种方案解析，实现高效数据同步
  • 1
    Hadoop节点资源扩展环境部署
    14
  • 2
    Hadoop节点资源扩展硬件选择
    14
  • 3
    Hadoop的NameNode的监控与副本管理
    13
  • 4
    Hadoop集群节点添加
    15
  • 5
    hadoop的伪分布式搭建-带网盘
    17
  • 6
    Hadoop的运行模式
    8
  • 7
    Hadoop【hadoop学习大纲完全总结01+02+03+04+05】【自学阶段整理的xmind思维导图分享】【点击可放大看高清】
    33
  • 8
    Hadoop【基础知识 05】【HDFS的JavaAPI】（集成及测试）
    38
  • 9
    Hadoop【基础知识 03+04】【Hadoop集群资源管理器yarn】（图片来源于网络）（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
    36
  • 10
    Hadoop【基础知识 04】【HDFS常用shell命令】（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
    25

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据Hadoop快速入门
  • Hadoop快速入门
  • Hadoop企业优化及扩展案例

    • 相关电子书

    更多
  • 《构建Hadoop生态批流一体的实时数仓》
  • 零基础实现hadoop 迁移 MaxCompute 之 数据
  • CIO 指南:如何在SAP软件架构中使用Hadoop

    • 相关实验场景

    更多
  • 每个IT人都想学的“Web应用上云经典架构”实战
  • 使用阿里云ECS监控您的特斯拉
  • 使用阿里云ECS安装家用内网穿透服务
  • ECS实例选型最佳实践
  • MySQL引擎及架构优化
  • 基于数据湖架构的网站访问行为分析
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）