一脸懵逼学习HBase的搭建(注意HBase的版本)

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: 1:Hdfs分布式文件系统存的文件,文件存储。 2:Hbase是存储的数据,海量数据存储,作用是缓存的数据,将缓存的数据满后写入到Hdfs中。 3:hbase集群中的角色:   (1)、一个或者多个主节点,Hmaster;   (2)、多个从节点,HregionServer;  1...
1:Hdfs分布式文件系统存的文件,文件存储。
2:Hbase是存储的数据,海量数据存储,作用是缓存的数据,将缓存的数据满后写入到Hdfs中。
3:hbase集群中的角色:
  (1)、一个或者多个主节点,Hmaster;
  (2)、多个从节点,HregionServer;

 1:由于HBase依赖hdfs,所以下载的时候注意HBase的版本:

  注:我使用的是hadoop2.4版本的,所以HBase选择支持2版本的:hbase-0.96.2-hadoop2-bin.tar.gz

2:上传hbase安装包,上传到一台机器即可:

  建议:自己规划一下自己的机器,最好是独立的,再搞两台机器最好,

     如果不想搞更多的机器,这里放到启动yarn进程的机器上:

       如我的slaver5,slaver6(master节点,slaver1节点,slaver2节点安装Region Server,slaver5,slaver6安装Master ),

       这样负载比较好点,自己电脑吃得消;

过程省略,上传结果如下所示;

2:解压缩刚才上传的hbase-0.96.2-hadoop2-bin.tar.gz

[root@slaver5 hadoop]# tar -zxvf hbase-0.96.2-hadoop2-bin.tar.gz

 

3:配置HBase集群,要修改3个文件(首先Zookeeper集群已经安装好了哟):

  注意:要把hadoop的hdfs-site.xml和core-site.xml 放到HBase/conf下;

[root@slaver5 conf]# cp /home/hadoop/hadoop-2.4.1/etc/hadoop/{core-site.xml,hdfs-site.xml} ./

 开始修改配置文件:

  3.1:修改hbase-env.sh:

修改如下所示:

//自己的jdk路径
export JAVA_HOME=/usr/java/jdk1.7.0_55
//hadoop配置文件的位置
export HBASE_CLASSPATH=/home/hadoop/hadoop-2.4.1/conf 
//告诉hbase使用外部的zk,export HBASE_MANAGES_ZK=true   #如果使用独立安装的zookeeper这个地方就是false export HBASE_MANAGES_ZK=false

 演示操作如下所示:

 

可以使用命令查看jdk的路径:

[root@slaver6 hadoop]# echo $JAVA_HOME
/home/hadoop/jdk1.7.0_65
[root@slaver6 hadoop]#

按ESC进入命令行模式:

搜索内容如下所示:

改成如下内容,使用外部的Zookeeper管理HBase:

 

  3.2:修改hbase-site.xml,vim hbase-site.xml:

修改内容如下所示:

<configuration>
    <!-- 指定hbase在HDFS上存储的路径 -->
        <property>
                <name>hbase.rootdir</name>
                <value>hdfs://ns1/hbase</value>
        </property>
        <!-- 指定hbase是分布式的 -->
        <property>
                <name>hbase.cluster.distributed</name>
                <value>true</value>
        </property>
        <!-- 指定zk的地址,多个用“,”分割 -->
        <property>
                <name>hbase.zookeeper.quorum</name>
             <value>master:2181,slaver1:2181,slaver2:2181</value>
        </property>
</configuration>
        

配置或如下所示,下面的配置仅仅做一下参考,不是此篇博客配置的:

 1 <configuration>
 2   <property>
 3   <!--hbasemaster的主机和端口-->
 4   <name>hbase.master</name>        
 5   <value>master1:60000</value>
 6   </property>
 7   <property>
 8   <!--时间同步允许的时间差-->
 9   <name>hbase.master.maxclockskew</name>   
10   <value>180000</value>
11   </property>
12   <property>
13   <name>hbase.rootdir</name>
14   <!--hbase共享目录,持久化hbase数据-->
15   <value>hdfs://hadoop-cluster1/hbase</value>
16   </property>
17   <property>
18   <!--是否分布式运行,false即为单机-->
19   <name>hbase.cluster.distributed</name>  
20   <value>true</value>
21   </property>
22   <property>
23   <!--zookeeper地址-->
24   <name>hbase.zookeeper.quorum</name>
25   <value>slave1, slave2,slave3</value>
26   </property>
27   <property>
28   <!--zookeeper配置信息快照的位置-->
29   <name>hbase.zookeeper.property.dataDir</name>
30   <value>/home/hadoop/hbase/tmp/zookeeper</value>
31   </property>
32 </configuration>

 修改操作如下所示:

[root@slaver5 conf]# vim hbase-site.xml

 

演示操作如下所示:

  3.3:修改regionservers,vim regionservers:

因为master节点,slaver1节点,slaver2节点安装Region Server,所以这里配置一下,slaver5,slaver6安装Master就可以找到Region Server了;

 4:然后将部署好的HBase传到其他几个节点上面(拷贝里面有html文档,拷贝起来有点慢,可以删除doc文档):

  注:将配置好的HBase拷贝到每一个节点并同步时间。

[root@slaver5 hadoop]# scp -r hbase-0.96.2-hadoop2/ master:/home/hadoop/
[root@slaver5 hadoop]# scp -r hbase-0.96.2-hadoop2/ slaver1:/home/hadoop/
[root@slaver5 hadoop]# scp -r hbase-0.96.2-hadoop2/ slaver2:/home/hadoop/
[root@slaver5 hadoop]# scp -r hbase-0.96.2-hadoop2/ slaver6:/home/hadoop/

5:现在可以启动HBase了,不过启动HBase之前需要将HDFS启动起来(hdfs启动过程省略,之前启动好多次了),因为HBase在hdfs下面创建一个目录叫做hbase,自己配置的:

  注:如果浏览器访问不了,记得关防火墙:service iptables stop,service iptables status;

启动所有的hbase
    1:分别启动zk
        ./zkServer.sh start
    2:启动hbase集群
        start-dfs.sh
    3:启动hbase,在主节点上运行:
        start-hbase.sh

启动完hdfs之后启动HBase:

 

可以查看这几个节点的进程的启动情况:

现在呢,一个HBase已经启动起来了,如果想启动两个HBase,第一个HBase启动不会自动启动第二个HBase,所以现在手动启动第二个HBase,操作如下所示:

  注:为保证集群的可靠性,要启动多个HMaster

6:通过浏览器访问hbase管理页面
    192.168.3.134:60010

可以看到三台master节点,slaver1节点,slaver2节点安装Region Server;slaver6是安装的备份的Master;

7:自己可以测试一下,杀死一个HMaster(slaver5节点的),另一个HMaster立马顶上去了,很强悍,依赖着Zookeeper,爽到爆啊。(kill -9 进程号,-9是强制杀死):

1 添加Hbase节点,删除的话直接kill:
2 [root@slaver6 hadoop]# hbase-daemon.sh start regionserver

 8:使用HBase的命令行客户端操作一下HBase(测试使用,真实环境使用Java操作):

1 进入hbase的shell:hbase shell
2 退出hbase的shell:quit
3 页面:http://ip地址:60010/ 

 由于HBase是非关系型数据库,可以查看一下help看看都有啥命令,然后再操作:

可以查看一些基本的命令:


HBase的一些基本命令(如果在hbase shell客户端,打错了,可按ctrl+BackSpace进行删除):

#创建HBase数据表
create 'myTables',{NAME => 'base_info',VERSIONS => 3},{NAME => 'extra_info'}

hbase(main):016:0> create 'user','info01','info02'


#查看有什么表
list

#查看表结构
describe 'myTables'

#禁用表
disable 'myTables'

#删除表,删除之前要先禁用表
drop 'myTables'

#插入数据,插入一个表的一行的一列的一个值,最后一个字段不带
#不带分号
#put '表名称','行','base_info/extra_info:列名称','列值'
put 'myTables','0001','base_info:name','张三'
put 'myTables','0001','base_info:age','22'
put 'myTables','0001','base_info:sex','男'
put 'myTables','0001','extra_info:addr','河南省'

#查询数据,查询某一行。
get 'myTables','0001'

get 'myTables','0001',{COLUMN => 'base_info:name',VERSION => 10}

scan 'myTables'

#修改值操作,默认不显示历史值
put 'myTables','0001','base_info:name','李四'


 可以去Zookeeper查看hbase的一些信息:

 1 [root@master sbin]# cd /home/hadoop/zookeeper-3.4.5/
 2 [root@master zookeeper-3.4.5]# ls
 3 bin          conf     dist-maven       ivy.xml      NOTICE.txt            recipes              zookeeper-3.4.5.jar.asc
 4 build.xml    contrib  docs             lib          README_packaging.txt  src                  zookeeper-3.4.5.jar.md5
 5 CHANGES.txt  data     ivysettings.xml  LICENSE.txt  README.txt            zookeeper-3.4.5.jar  zookeeper-3.4.5.jar.sha1
 6 [root@master zookeeper-3.4.5]# cd bin/
 7 [root@master bin]# ls
 8 README.txt  zkCleanup.sh  zkCli.cmd  zkCli.sh  zkEnv.cmd  zkEnv.sh  zkServer.cmd  zkServer.sh  zookeeper.out
 9 [root@master bin]# ./zkCli.sh 
10 Connecting to localhost:2181
11 2017-12-18 17:08:22,357 [myid:] - INFO  [main:Environment@100] - Client environment:zookeeper.version=3.4.5-1392090, built on 09/30/2012 17:52 GMT
12 2017-12-18 17:08:22,383 [myid:] - INFO  [main:Environment@100] - Client environment:host.name=master
13 2017-12-18 17:08:22,383 [myid:] - INFO  [main:Environment@100] - Client environment:java.version=1.7.0_65
14 2017-12-18 17:08:22,383 [myid:] - INFO  [main:Environment@100] - Client environment:java.vendor=Oracle Corporation
15 2017-12-18 17:08:22,385 [myid:] - INFO  [main:Environment@100] - Client environment:java.home=/home/hadoop/jdk1.7.0_65/jre
16 2017-12-18 17:08:22,385 [myid:] - INFO  [main:Environment@100] - Client environment:java.class.path=/home/hadoop/zookeeper-3.4.5/bin/../build/classes:/home/hadoop/zookeeper-3.4.5/bin/../build/lib/*.jar:/home/hadoop/zookeeper-3.4.5/bin/../lib/slf4j-log4j12-1.6.1.jar:/home/hadoop/zookeeper-3.4.5/bin/../lib/slf4j-api-1.6.1.jar:/home/hadoop/zookeeper-3.4.5/bin/../lib/netty-3.2.2.Final.jar:/home/hadoop/zookeeper-3.4.5/bin/../lib/log4j-1.2.15.jar:/home/hadoop/zookeeper-3.4.5/bin/../lib/jline-0.9.94.jar:/home/hadoop/zookeeper-3.4.5/bin/../zookeeper-3.4.5.jar:/home/hadoop/zookeeper-3.4.5/bin/../src/java/lib/*.jar:/home/hadoop/zookeeper-3.4.5/bin/../conf:
17 2017-12-18 17:08:22,385 [myid:] - INFO  [main:Environment@100] - Client environment:java.library.path=/usr/java/packages/lib/i386:/lib:/usr/lib
18 2017-12-18 17:08:22,386 [myid:] - INFO  [main:Environment@100] - Client environment:java.io.tmpdir=/tmp
19 2017-12-18 17:08:22,387 [myid:] - INFO  [main:Environment@100] - Client environment:java.compiler=<NA>
20 2017-12-18 17:08:22,396 [myid:] - INFO  [main:Environment@100] - Client environment:os.name=Linux
21 2017-12-18 17:08:22,397 [myid:] - INFO  [main:Environment@100] - Client environment:os.arch=i386
22 2017-12-18 17:08:22,397 [myid:] - INFO  [main:Environment@100] - Client environment:os.version=2.6.32-358.el6.i686
23 2017-12-18 17:08:22,398 [myid:] - INFO  [main:Environment@100] - Client environment:user.name=root
24 2017-12-18 17:08:22,428 [myid:] - INFO  [main:Environment@100] - Client environment:user.home=/root
25 2017-12-18 17:08:22,470 [myid:] - INFO  [main:Environment@100] - Client environment:user.dir=/home/hadoop/zookeeper-3.4.5/bin
26 2017-12-18 17:08:22,472 [myid:] - INFO  [main:ZooKeeper@438] - Initiating client connection, connectString=localhost:2181 sessionTimeout=30000 watcher=org.apache.zookeeper.ZooKeeperMain$MyWatcher@1238fa5
27 Welcome to ZooKeeper!
28 2017-12-18 17:08:22,994 [myid:] - INFO  [main-SendThread(localhost:2181):ClientCnxn$SendThread@966] - Opening socket connection to server localhost/0:0:0:0:0:0:0:1:2181. Will not attempt to authenticate using SASL (unknown error)
29 JLine support is enabled
30 2017-12-18 17:08:23,281 [myid:] - INFO  [main-SendThread(localhost:2181):ClientCnxn$SendThread@849] - Socket connection established to localhost/0:0:0:0:0:0:0:1:2181, initiating session
31 2017-12-18 17:08:24,145 [myid:] - INFO  [main-SendThread(localhost:2181):ClientCnxn$SendThread@1207] - Session establishment complete on server localhost/0:0:0:0:0:0:0:1:2181, sessionid = 0x16068706a9b0008, negotiated timeout = 30000
32 
33 WATCHER::
34 
35 WatchedEvent state:SyncConnected type:None path:null
36 [zk: localhost:2181(CONNECTED) 0] ls /
37 [hadoop-ha, hbase, admin, zookeeper, consumers, config, 20171011, storm, yarn-leader-election, brokers, controller_epoch]
38 [zk: localhost:2181(CONNECTED) 3] get /hbase
39 
40 cZxid = 0xc00000007
41 ctime = Wed Oct 25 17:29:19 CST 2017
42 mZxid = 0xc00000007
43 mtime = Wed Oct 25 17:29:19 CST 2017
44 pZxid = 0xf0000004a
45 cversion = 23
46 dataVersion = 0
47 aclVersion = 0
48 ephemeralOwner = 0x0
49 dataLength = 0
50 numChildren = 15
51 [zk: localhost:2181(CONNECTED) 4] ls /
52 [hadoop-ha, hbase, admin, zookeeper, consumers, config, 20171011, storm, yarn-leader-election, brokers, controller_epoch]
53 [zk: localhost:2181(CONNECTED) 5] ls /hbase
54 [meta-region-server, backup-masters, region-in-transition, draining, table, table-lock, running, master, namespace, hbaseid, online-snapshot, replication, recovering-regions, splitWAL, rs]
55 [zk: localhost:2181(CONNECTED) 6] ls /hbase/table
56 [hbase:meta, hbase:namespace, user]
57 [zk: localhost:2181(CONNECTED) 7] 

待续......

相关实践学习
云数据库HBase版使用教程
&nbsp; 相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情:&nbsp;https://cn.aliyun.com/product/hbase &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
分布式计算 Hadoop Java
HBase 安装之后版本的验证的bug:(错误的替换、找不到或无法加载主类、SLF4J)
HBase 安装之后版本的验证的bug:(错误的替换、找不到或无法加载主类、SLF4J)
842 0
HBase 安装之后版本的验证的bug:(错误的替换、找不到或无法加载主类、SLF4J)
|
8月前
|
SQL 缓存 Java
【大数据】HBase入门学习 3
【大数据】HBase入门学习
84 0
|
8月前
|
存储 大数据 分布式数据库
【大数据】HBase入门学习 2
【大数据】HBase入门学习
80 0
|
8月前
|
存储 分布式计算 Hadoop
【大数据】HBase入门学习 1
【大数据】HBase入门学习
82 0
|
9月前
|
存储 Java Shell
分布式数据库HBase的常用操作的基本Shell命令的状态/版本/Help命令
HBase是一个分布式数据库系统,支持高性能、可伸缩、实时的数据存储和处理。在HBase中,我们可以使用Shell命令来进行常用的操作,如创建表、插入数据、查询数据、更新数据等。本文将介绍关于分布式数据库HBase的常用操作基本Shell命令的状态/版本/Help命令。
347 0
|
存储 NoSQL 关系型数据库
每日积累【Day 3】Hbase架构深入学习
每日积累【Day 3】Hbase架构深入学习
每日积累【Day 3】Hbase架构深入学习
|
大数据 Shell 分布式数据库
基于mac构建大数据伪分布式学习环境(六)-部署HBase
本文主要讲解列式数据库HBase的单机部署方式与配置
107 0
|
Java 分布式数据库 Ruby
HBase Filter 过滤器之 Comparator 原理及源码学习
HBase所有的比较器实现类都继承于父类ByteArrayComparable,而ByteArrayComparable又实现了Comparable接口;不同功能的比较器差别在于对父类compareTo()方法的重写逻辑不同。 下面分别对HBase Filter默认实现的七大比较器一一进行介绍。 1. BinaryComparator 介绍:二进制比较器,用于按字典顺序比较指定字节数组。 先看一个小例子: public class BinaryComparatorDemo { public static void main(String[] args) {
429 0
|
Hbase 分布式数据库 Serverless
1元包年,阿里云HBase Serverless开启大数据学习与测试的新时代
阿里云HBase Serverless 版是基于HBase,使用Serverless架构构建的一套新型的HBase 服务。 阿里云HBase Serverless版真正把HBase变成了一个服务,用户无需提前规划资源,选择CPU,内存资源数量,购买集群。在应对业务高峰,业务空间增长时,也无需进行扩容
4659 0
1元包年,阿里云HBase Serverless开启大数据学习与测试的新时代
数据库云HBase 版本spark服务支持D1机型
信息摘要: 数据库云HBase 版本spark服务支持D1机型,适合起步超过20T数据库的大客户,每GB存储单价最低。适用客户: 大企业版本/规格功能: spark支持D1机型产品文档: 数据库云HBase 版本spark服务支持D1机型,具体spark服务参考https://help.
682 0