SQOOP安装部署

本文涉及的产品
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介:

1.环境准备

1.1软件版本

sqoop-1.4.5 下载地址

2.配置

sqoop的配置比较简单,下面给出需要配置的文件

2.1环境变量


sudo vi /etc/profile

SQOOP_HOME=/home/hadoop/source/sqoop-1.4.5
PATH=$SQOOP_HOME/bin
export SQOOP_HOME

2.2sqoop-env.sh


#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/home/hadoop/source/hadoop-2.5.1

#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/home/hadoop/source/hadoop-2.5.1

#set the path to where bin/hbase is available
#export HBASE_HOME=

#Set the path to where bin/hive is available
export HIVE_HOME=/home/hadoop/source/hive-0.14.0

#Set the path for where zookeper config dir is
#export ZOOCFGDIR=

注:目前我是木有配置HBase和Zookeeper的,若有需要的人可以将路径直接指定到HBase和Zookeeper的安装路径下。

2.3异常

Streaming result set com.mysql.jdbc.RowDataDynamic@12e9d40f is still active

执行sqoop脚本时,出现这个异常是因为mysql的驱动的原因,使用最新的mysql驱动包。

解决方案:


wget http://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.32.tar.gz

然后解压到sqoop目录的lib目录下,重新执行脚本正常。

至此,sqoop的安装配置以及使用到此完成。


相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
5月前
|
分布式计算 Java 关系型数据库
73 sqoop安装
73 sqoop安装
28 2
|
4月前
|
SQL 分布式计算 关系型数据库
sqoop快速安装
sqoop快速安装
24 0
|
11月前
|
SQL 分布式计算 关系型数据库
sqoop的安装和使用
sqoop的安装和使用
|
11月前
|
SQL 分布式计算 关系型数据库
|
11月前
|
SQL 分布式计算 Java
Hive环境安装
Hive环境安装
109 0
|
SQL 分布式计算 Oracle
【Sqoop】(一)Sqoop 概述及安装环境搭建
【Sqoop】(一)Sqoop 概述及安装环境搭建
319 0
【Sqoop】(一)Sqoop 概述及安装环境搭建
|
存储 SQL 分布式计算
Sqoop简介及安装部署
Apache Sqoop是专为Apache Hadoop和结构化数据存储如关系数据库之间的数据转换工具的有效工具。你可以使用Sqoop从外部结构化数据存储的数据导入到Hadoop分布式文件系统或相关系统如Hive和HBase。相反,Sqoop可以用来从Hadoop的数据提取和导出到外部结构化数据存储如关系数据库和企业数据仓库。 Sqoop专为大数据批量传输设计,能够分割数据集并创建Hadoop任务来处理每个区块。
182 0
|
SQL 关系型数据库 Java
hadoop伪分布式安装部署HIVE
应用场景 当我们按照hadoop伪分布式集群搭建博客搭建了hadoop以后,发现这是一个空的hadoop,只有YARN,MapReduce,HDFS,而这些实际上我们一般不会直接使用,而是需要另外部署Hadoop的其他组件,来辅助使用。
1700 0
|
分布式计算 大数据 关系型数据库
Sqoop安装
Sqoop是Hadoop生态里,实现Hive、Hbase等大数据数据库与MySQL、Oracle导入导出的工具。 其实就是包含两部分功能:(1)HDFS的读写能力(2)加载JDBC。
1770 0
|
分布式计算 关系型数据库 Hadoop

热门文章

最新文章