基于hadoop集群的Hive1.2.1、Hbase1.2.2、Zookeeper3.4.8完全分布式安装

  1. 云栖社区>
  2. 博客>
  3. 正文

基于hadoop集群的Hive1.2.1、Hbase1.2.2、Zookeeper3.4.8完全分布式安装

thinkgamer.cn 2016-07-27 14:41:00 浏览632
展开阅读全文

写在前边的话:

       hadoop2.7完全分布式安装请参考:点击阅读,继任该篇博客之后,诞生了下面的这一篇博客

       基本环境:

               Hadoop 2.7

               Java 1.7.0_51

               CentOS 6.5

       预安装:

               Hive 1.2.1               下载地址

               Zookeeper 3.4.8     下载地址

               Hbase 1.2.2            下载地址  

一:Hive的分布式安装(基于Mysql)

    Hive的伪分布安装请参考 :点击阅读

    Hive基于Mysql的伪分布部署轻参考:点击阅读

    Hive的完全分布式安装的前提安装Mysql数据库,CentOS 6.5下安装Mysql请参考之前的一篇博客:点击阅读

    疑问解答1:Hive 是否需要每个datanode都安装?

          Hive的安装其实是有两部分组成,分别是Server端和Client端,所谓的服务端就是Hive管理Meta的那个Hive,服务端可以安装在任意节点上,可以是NameNode,也可以是DataNode,至于那个节点做Hive的服务端,由自己决定,不过在Hadoop的HA环境里,我想在两个NameNode里都装成Hive的Server,并且hive.metastore.warehouse.dir配置成hdfs://****,这样其他节点安装的Hive就都是客户端了,并且hive.metastore.uris值可以指向这两个NameNode的Ip

    疑问解答2:Hive配置中主要属性都是什么意思?

           hive.metastore.uris:指定hive元数据访问路径,如果为空则是本地模式,否则为远程模式

           hive.metastore.warehouse.dir:(HDFS上的)数据目录,可以在3个地方保存

           hive.exec.scratchdir:(HDFS上的)临时文件目录

           hive.metastore.warehouse.dir默认值是/user/hive/warehouse

           hive.exec.scratchdir默认值是/tmp/hive-${user.name}

    安装:

            1:在Mysql中创建hive用户,并赋予足够的权限

<span style="font-size:14px;">[master@master1 hive]$ mysql -uroot -p
Enter password: 
   ......此处省略部分日志......
mysql> <u>create user 'hive' identified by 'hive';</u>
Query OK, 0 rows affected (0.05 sec)

mysql> <u>grant all privileges on *.* to 'hive' with grant option;</u>
Query OK, 0 rows affected (0.00 sec)

mysql> <u>flush privileges;</u>
Query OK, 0 rows affected (0.00 sec)
</span>

            2:测试hive能否正常连接Mysql,并创建hive数据库

                 此时报错如下:ERROR 1045 (28000): Access denied for user 'hive'@'localhost' (using password: YES)

                 解决办法:重新以root用户登录mysql,删除msyql数据库下user表中为空的记录

<span style="font-size:14px;">mysql> delete from user where user is null;
Query OK, 0 rows affected (0.00 sec)

mysql> delete from user where user='';
Query OK, 1 row affected (0.00 sec)

mysql> FLUSH PRIVILEGES;
Query OK, 0 rows affected (0.00 sec)
</span>
                 以hive用户登录,创建hive数据库

<span style="font-size:14px;">[master@master1 opt]$ mysql -uhive -p
Enter password: 
....省略....
mysql> create database hive;
Query OK, 1 row affected (0.00 sec)

mysql> use hive;
Database changed
mysql> show tables;
Empty set (0.00 sec)
</span>

            3:解压缩hive到指定目录

                 我这里使用的是/opt/  :sudo tar -zxvf /home/master/桌面/apache-hive-1.2.1-bin.tar.gz -C /opt/

                 重命名为hive:sudo mv apache-hive-1.2.1-bin hive

            4:下载Mysql驱动程序到 hive目录下的lib目录

                  sudo cp /home/master/桌面/mysql-connector-java-5.1.39-bin.jar /opt/hive/lib/

            5:修改环境变量将hive加入到path

                  sudo vim /etc/profile

                  #hive
                  export HIVE_HOME=/opt/hive
                  export PATH=$PATH:$HIVE_HOME/bin

           6:修改hive-env.sh

                [master@master1 conf]$ sudo cp hive-env.sh.template hive-env.sh

           7:修改hive-site.xml

<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
  <description>JDBC connect string for a JDBC metastore</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
  <description>Driver class name for a JDBC metastore</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>hive</value>
  <description>username to use against metastore database</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>hive</value>
  <description>password to use against metastore database</description>
</property>

          8:启动hadoop,测试hive

               [master@master1 hadoop]$ sbin/start-all.sh

               启动hiev报错

                    Exception in thread "main" java.lang.RuntimeException: Hive metastore database is not initialized. Please    use schematool (e.g. ./schematool -initSchema -dbType ...) to create the schema. If needed, don't forget to include the option to auto-create the underlying database in your JDBC connection string (e.g. ?createDatabaseIfNotExist=true for mysql)

              愿意:没有初始化元数据

              解决办法:执行 bin/schematool -initSchema -dbType mysql

             再次启动hive:bin/hive,报错:

                       Exception in thread "main" java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D

              原因:路径不对

              解决办法:将含有system:java.io.tmpdir的配置项改为/opt/hive/iotmp (前提是你已经建立了这样一个文件夹)

              再次启动hive报错:

                     Exception in thread "main" java.lang.RuntimeException: java.io.IOException: 权限不够

              解决办法:[master@master1 hive]$ sudo chmod 777 iotmp/

              再次启动: yes!!!

          9:配置hive的web访问页面

               hive1.2.1 lib目录下不带hwi文件,所以需要我们自己打包,下载apache-hive-1.2.1-src.bin.tar 解压,进入hwi 目录执行:

               jar cvfM0 hive-hwi-1.2.1.war -C web/ .

               并将打好的war包cp到hive/lib目录下,此时仍然不能访问 hive的web界面,出现错误:

               NO JSP Support for /hwi, did not find org.apache.jasper.servlet.JspServlet

               解决办法:下载以下jar包,放到hive/lib目录下(点击下载

               commons-el-1.0.jar

               jasper-compiler.jar

               jasper-runtime.jar

               toos.jar(java/lib 目录下的一个包)

               再次启动 OK!

                

       10、hiveserver2的配置使用

              http://www.tuicool.com/articles/Bbqaea

              参考网上的文章进行配置发现我的hiveserver2一直启动不了,每当执行bin/hive --service hiveserver2 时总是卡在那里不动,折腾了大半天也一直没有找到错误,就先这样吧,各位博友大家如果有什么好的意见欢迎留言

二:Zoookeeper的分布式安装

     1:部署说明

           ZK官网建议安装在至少3台机器上,故这里将ZK分别安装三台机器组成的集群中

     2:解压到指定目录/opt

          sudo tar -zxvf /home/master/桌面/zookeeper-3.4.8.tar.gz -C /opt/

          重命名:mv zookeeper-3.4.8/ zookeeper

     3:设置myid

           在dataDir指定的数据目录(/opt/zookeeper/data)下,创建文件myid,文件内容为一个正整数值,用来唯一标识当前机器,因此不同机器的数值不能相同,建议从1开始递增标识,以方便记忆和管理。

          IP                                       标识数值
          192.168.48.130                  1
          192.168.48.131                  2
          192.168.48.132                  3

     4:修改conf/zoo.cfg

           tickTime=2000

           dataDir=/opt/zookeeper/data
           clientPort=2181
           initLimit=5
           syncLimit=2
           server.1=master1:2888:3888 
           server.2=slave1:2888:3888
           server.3=slave2:2888:3888
           以上内容的配置,参照了ZooKeeper的官方文档:zookeeperStarted.html。server.X用来配置ZooKeeper集群中的各节点,并建议X的值和myid保持一致。
           端口2181用于监听客户端的连接,端口2888用于Leader监听Follower的连接,而3888则用于Leader选举。
           scp将zoo.cfg 复制到另外两台机器上
                    scp -r zookeeper/  slave1:/opt/ 
                    scp -r zookeeper/  slave2:/opt/ 

     5:启动zk

          每台机器上执行:[master@master1 zookeeper]$  sudo bin/zkServer.sh start

          我们可以使用       sudo bin/zkServer.sh status 查看状态

                                     sudo bin/zkServer.sh stop    停止服务

     6:遇到的问题

          [master@master1 zookeeper]$  sudo bin/zkServer.sh status
          ZooKeeper JMX enabled by default
          Using config: /opt/zookeeper/bin/../conf/zoo.cfg
          Error contacting service. It is probably not running.

          解决办法:

          查看 zookeeper.out 可知是权限问题

          在每台机器下给 data ,data/zookeeper_server.pid,zookeeper.out 777 权限即可

     7:注意事项

          由于zkServer必须三台都启动后才选择leader和follower,故刚开始会出现都是Error contacting service. It is probably not running.的情况

     8:验证如下

          
          

         

三:Hbase的分布式安装

     1:部署说明

           基于hadoop 2.7 ,ZK 3.4.8部署

     2:解压hbase 1.2.2到指定目录

tar -zxvf hbase-1.2.2-bin.tar.gz -C /opt/hbase
mv /opt/hbase-1.2.2 /opt/hbase # 重命名

     3:配置环境变量

           sudo vim /etc/profile  

           加入:

#hbase
export HBASE_HOME=/opt/hbase
export PATH=$HBASE_HOME/bin:$PATH

     4:配置hbase-env.sh

export JAVA_HOME=/opt/java
export HBASE_CLASSPATH=/opt/hbase/conf
# 此配置信息,设置由zk集群管理,故为false
export HBASE_MANAGES_ZK=false
export HBASE_HOME=/opt/hbase
export HADOOP_HOME=/oopt/hadoop
#Hbase日志目录
export HBASE_LOG_DIR=/opt/hbase/logs

     5:配置hbase-site.xml

<configuration>
  <property>
    <name>hbase.rootdir</name>
    <value>hdfs://192.168.48.130:9000/hbase</value>
  </property>
  <property>
     <name>hbase.cluster.distributed</name>
     <value>true</value>
  </property>
  <property>
      <name>hbase.master</name>
      <value>master1:60000</value>
  </property>
   <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/opt/zookeeper</value>
  </property>
  <property>
    <name>hbase.zookeeper.quorum</name>
    <value>master1,slave1,slave2</value>
  </property>
  <property>
    <name>hbase.zookeeper.property.clientPort</name>
    <value>2181</value>
  </property>
</configuration>

     6:配置regionservers

         清空该文件,加入集群的节点,例如我这里是

         slave1

         slave2

     7:将hbase scp到节点

           sudo scp /opt/hbase slave1:/opt/hbase
           sudo scp /opt/hbase slave1:/opt/hbase

     8:启动

           启动之前得保证ZK和hadoop已经启动

               [master@master1 hbase]$ bin/start-hbase.sh

      9:错误记录

           启动时会报出权限不足的问题,我这里的解决办法是给每个节点的hbase目录赋予777的权限,但这并不是安全的,如果大家有什么好的办法,可以留下

      最终jps效果如下:

           

      10:Web界面访问

            貌似从1.0版本以后端口改为16010端口了,所以web访问为:http://192.168.48.130:16010/


四:知识点补充和资料参考

    1:知识点补充

         scp文件: scp name slave1:/path

         scp文件夹:scp -r name slave1:/path

    2:参考资料

         彻底弄清Hive安装过程中的几个疑问点

         hbase0.96与hive0.12整合高可靠文档及问题总结

    3:一些疑问

         这里并不需要将Hive拷贝到各个节点,是因为,这里Hive的底层数据存储为HDFS,而HDFS本身就是分布式的,所以不需要,当然这里也可以把Hive安装到slave节点上,但是出于方便和使用习惯,一般都部署在namenode上


大数据全新视频教程,博主亲自整理,点击查看

网友评论

登录后评论
0/500
评论
thinkgamer.cn
+ 关注