基于Ubuntu Hadoop的群集搭建Hive

本文涉及的产品
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介:

Hive是Hadoop生态中的一个重要组成部分,主要用于数据仓库。前面的文章中我们已经搭建好了Hadoop的群集,下面我们在这个群集上再搭建Hive的群集。

1.安装MySQL

1.1安装MySQL Server

在Ubuntu下面安装MySQL的Server很简单,只需要运行:

sudo apt-get install mysql-server

系统会把MySQL下载并安装好。这里我们可以把MySQL安装在master机器上。

安装后需要配置用户名密码和远程访问。

1.2配置用户名密码

首先我们以root身份登录到mysql服务器:

sudo mysql -u root

然后修改root的密码,并允许root远程访问:

GRANT ALL PRIVILEGES ON *.* TO root@'%' IDENTIFIED BY "123456";

我们这里还可以为hive建立一个用户,而不是用root用户:

GRANT ALL PRIVILEGES ON *.* TO hive@'%' IDENTIFIED BY "hive";

运行完成后quit命令即可退出mysql的命令行模式。

1.3配置远程访问

默认情况下,MySQL是只允许本机访问的,要允许远程机器访问需要修改配置文件

sudo vi /etc/mysql/mysql.conf.d/mysqld.cnf

找到bind-address的配置部分,然后改为:

bind-address          = 0.0.0.0

保存,重启mysql服务

sudo service mysql restart

重启完成后,我们可以在Windows下,用MySQL的客户端连接master上的MySQL数据库,看是否能够远程访问。

2.下载并配置Hive

2.1下载Hive

首先我们到官方网站,找到Hive的下载地址。http://www.apache.org/dyn/closer.cgi/hive/ 会给出一个建议的网速快的下载地址。

然后在master服务器上,wget下载hive的编译好的文件,我现在最新版是Hive 2.1.1 :

wget http://mirror.bit.edu.cn/apache/hive/hive-2.1.1/apache-hive-2.1.1-bin.tar.gz

下载完成后,解压这个压缩包

tar xf apache-hive-2.1.1-bin.tar.gz

按之前Hadoop的惯例,我们还是把Hive安装到/usr/local目录下吧,所以移动Hive文件:

sudo mv apache-hive-2.1.1-bin /usr/local/hive

2.2配置环境变量

sudo vi /etc/profile

增加如下配置:

export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$HIVE_HOME/bin
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:/usr/local/hive/lib

2.3配置hive-env.sh

所有Hive的配置是在/usr/local/hive/conf目录下,进入这个目录,我们需要先基于模板新建hive-env.sh文件:
cp hive-env.sh.template hive-env.sh
vi hive-env.sh
指定Hadoop的路径,增加以下行:
HADOOP_HOME=/usr/local/hadoop

2.4配置hive-site.xml

cp hive-default.xml.template hive-site.xml
vi hive-site.xml
首先增加mysql数据库的连接配置:
<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value>
  <description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
  <description>Driver class name for a JDBC metastore</description>
</property>
<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>hive</value>
  <description>username to use against metastore database</description>
</property>
<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>hive</value>
  <description>password to use against metastore database</description>
</property>
然后需要修改临时文件夹的路径,找到以下2个配置,并改为正确的路径:
 <property> 
 <name>hive.exec.local.scratchdir</name>
 <value>/home/hduser/iotmp</value>
 <description>Local scratch space for Hive jobs</description>
 </property>
 <property>
 <name>hive.downloaded.resources.dir</name>
 <value>/home/hduser/iotmp</value>
 <description>Temporary local directory for added resources in the remote file system.</description>
 </property>

这里因为我当前用户是hduser,所以我在hduser的目录下创建一个iotmp文件夹,并授权:

mkdir -p /home/hduser/iotmp 
chmod -R 775 /home/hduser/iotmp

2.5修改hive-config.sh

进入目录/usr/local/hive/bin
vi hive-config.sh
在该文件的最前面加入以下配置:
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 
export HADOOP_HOME=/usr/local/hadoop 
export HIVE_HOME=/usr/local/hive

2.6下载MySQL JDBC驱动

去MySQL的官网,https://dev.mysql.com/downloads/connector/j/  下载JDBC驱动到master服务器上。

wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.40.tar.gz

下载完后解压

tar xf mysql-connector-java-5.1.40.tar.gz

然后进入解压后的目录,把jar包复制到Hive/lib目录下面

cp mysql-connector-java-5.1.40-bin.jar /usr/local/hive/lib/

2.7在HDFS中创建目录和设置权限

启动Hadoop,在Hadoop中创建Hive需要用到的目录并设置好权限:

hadoop fs -mkdir /tmp
hadoop fs -mkdir -p /user/hive/warehouse
hadoop fs -chmod g+w /tmp
hadoop fs -chmod g+w /user/hive/warehouse

2.8初始化meta数据库

进入/usr/local/hive/lib目录,初始化Hive元数据对应的MySQL数据库:
schematool -initSchema -dbType mysql

3.使用Hive

在命令行下,输入hive命令即可进入Hive的命令行模式。我们可以查看当前有哪些数据库,哪些表:
show databases;
show tables;
关于hive命令下有哪些命令,具体介绍,可以参考官方文档:https://cwiki.apache.org/confluence/display/Hive/Home

3.1创建表

和普通的SQL创建表没有太大什么区别,主要是为了方便,我们设定用\t来分割每一行的数据。比如我们要创建一个用户表:
create table Users (ID int,Name String) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

3.2插入数据

是insert语句可以插入单条数据:
insert into Users values(1,'Devin');
如果要导入数据
我们在Ubuntu下创建一个name.txt文件,然后编辑其中的内容,添加如下内容:

2       Edward 
3       Mindy 
4       Dave 
5       Joseph 
6       Leo

列直接我是用Tab隔开的。

如果想把这个txt文件导入hive的Users 表,那么只需要在hive中执行:

LOAD DATA LOCAL INPATH '/home/hduser/names.txt' into table Users ;

3.3查询数据

仍然是sql语句:
select * from Users ;
当然我们也可以跟条件的查询语句:
select * from Users where Name like 'D%';

3.4增加一个字段

比如我们要增加生日这个字段,那么语句为:
alter table Users add columns (BirthDate date);

3.5查询表定义

我们看看表的结构是否已经更改,查看Users表的定义:
desc Users;

3.6其他

另外还有重名了表,删除表等,基本也是SQL的语法:
alter table Users rename to Student;
删除一个表中的所有数据:
truncate table Student;

【另外需要注意,Hive不支持update和delete语句。似乎只有先truncate然后在重新insert。】


本文转自深蓝居博客园博客,原文链接:http://www.cnblogs.com/studyzy/p/setup-hive.html,如需转载请自行联系原作者


相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
3月前
|
分布式计算 Ubuntu Hadoop
百度搜索:蓝易云【Ubuntu搭建全分布式Hadoop】
请注意,以上只是概述,并不包含详细的步骤和指令。搭建全分布式Hadoop是一个复杂的过程,需要对Hadoop的架构和配置有深入的理解,并熟悉Linux系统管理。建议在搭建全分布式Hadoop之前,先学习相关知识并查阅官方文档和教程,以确保正确搭建和配置Hadoop集群。
27 0
|
4月前
|
SQL 分布式计算 Hadoop
干翻Hadoop系列文章【02】:Hadoop、Hive、Spark的区别和联系
干翻Hadoop系列文章【02】:Hadoop、Hive、Spark的区别和联系
|
4月前
|
SQL 存储 大数据
【大数据技术Hadoop+Spark】Hive基础SQL语法DDL、DML、DQL讲解及演示(附SQL语句)
【大数据技术Hadoop+Spark】Hive基础SQL语法DDL、DML、DQL讲解及演示(附SQL语句)
77 0
|
14天前
|
SQL 分布式计算 Hadoop
利用Hive与Hadoop构建大数据仓库:从零到一
【4月更文挑战第7天】本文介绍了如何使用Apache Hive与Hadoop构建大数据仓库。Hadoop的HDFS和YARN提供分布式存储和资源管理,而Hive作为基于Hadoop的数据仓库系统,通过HiveQL简化大数据查询。构建过程包括设置Hadoop集群、安装配置Hive、数据导入与管理、查询分析以及ETL与调度。大数据仓库的应用场景包括海量数据存储、离线分析、数据服务化和数据湖构建,为企业决策和创新提供支持。
54 1
|
3月前
|
SQL 数据采集 分布式计算
Hadoop和Hive中的数据倾斜问题及其解决方案
Hadoop和Hive中的数据倾斜问题及其解决方案
44 0
|
3月前
|
SQL 分布式计算 安全
HIVE启动错误:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeExcept
HIVE启动错误:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeExcept
136 0
|
3月前
|
SQL 存储 分布式计算
Hadoop中的Hive是什么?请解释其作用和用途。
Hadoop中的Hive是什么?请解释其作用和用途。
38 0
|
4月前
|
SQL 分布式计算 Hadoop
[AIGC ~大数据] 深入理解Hadoop、HDFS、Hive和Spark:Java大师的大数据研究之旅
[AIGC ~大数据] 深入理解Hadoop、HDFS、Hive和Spark:Java大师的大数据研究之旅
|
4月前
|
存储 SQL 分布式计算
Hadoop(HDFS+MapReduce+Hive+数仓基础概念)学习笔记(自用)
Hadoop(HDFS+MapReduce+Hive+数仓基础概念)学习笔记(自用)
263 0
|
12天前
|
存储 分布式计算 Hadoop
大数据处理架构Hadoop
【4月更文挑战第10天】Hadoop是开源的分布式计算框架,核心包括MapReduce和HDFS,用于海量数据的存储和计算。具备高可靠性、高扩展性、高效率和低成本优势,但存在低延迟访问、小文件存储和多用户写入等问题。运行模式有单机、伪分布式和分布式。NameNode管理文件系统,DataNode存储数据并处理请求。Hadoop为大数据处理提供高效可靠的解决方案。
36 2