Sqoop安装

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: Sqoop是Hadoop生态里,实现Hive、Hbase等大数据数据库与MySQL、Oracle导入导出的工具。其实就是包含两部分功能:(1)HDFS的读写能力(2)加载JDBC。

Sqoop是Hadoop生态里,实现Hive、Hbase等大数据数据库与MySQL、Oracle导入导出的工具。
其实就是包含两部分功能:(1)HDFS的读写能力(2)加载JDBC。
这篇文章记录了配置sqoop的步骤。在实验过程中,遇到了一些ERROR,反复百度也没有找到解决方法。最后,把sqoop安装文件夹删除,wget原始文件,重头配置了一遍,一切都OK了。还是“重装”最好用。

一、下载sqoop 1.4.7

如图,下载地址很好找。本文还是用sqoop1。



下载页面下有两个链接,使用sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz,包含hadoop支持。不要用sqoop-1.4.7.tar.gz。


二、下载mysql-connector-java

到mysql官网查找mysql-connector/j,下载mysql服务器对应版本5.1.x,platform independent版。



解压之后,拷贝一下两个文件到sqoop安装目录lib.


三、修改配置

添加环境变量

export SQOOP_HOME="/opt/sqoop"
export PATH=$SQOOP_HOME/bin:$PATH

主要配置文件sqoop/config/sqoop-env.sh,设置hadoop路径。

#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/opt/hadoop-2.7.3

#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/opt/hadoop-2.7.3

四、测试

bin/sqoop-list-databases --connect jdbc:mysql://mysql1:3306 --username shell --password 123456

Please set HCAT_HOME to the root of your HCatalog installation. Warning: /opt/sqoop/../accumulo does not exist! Accumulo imports will fail. Please setACCUMULO_HOME to the root of your Accumulo installation.
18/09/05 09:01:47 INFO sqoop.Sqoop: Running Sqoop version: 1.4.7
18/09/05 09:01:47 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.
18/09/05 09:01:47 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.
information_schema

Alibaba
db
hadooptrain
metastore
mysql
performance_schema
test

测试成功!

五、总结

第一次安装之后出现问题,各种百度,各种试,最后按标准流程做了一遍,测试通过。
总结这种方法,仔细读手册,掌握官方jar下载路径。

NoClassDefFoundError: org/apache/avro/LogicalType

这个问题出现了,没有解决,希望再遇到的同学和我一样,按官方jar下载重装解决。

我的博客即将入驻“云栖社区”,诚邀技术同仁一同入驻

相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
6月前
|
分布式计算 Java 关系型数据库
73 sqoop安装
73 sqoop安装
32 2
|
4月前
|
分布式计算 Hadoop 关系型数据库
Sqoop入门指南:安装和配置
Sqoop入门指南:安装和配置
|
5月前
|
SQL 分布式计算 关系型数据库
sqoop快速安装
sqoop快速安装
26 0
|
7月前
|
存储 分布式计算 关系型数据库
大数据组件Sqoop-安装与验证
大数据组件Sqoop-安装与验证
78 0
|
10月前
|
SQL 分布式计算 Ubuntu
【大数据】Sqoop的安装及使用
【大数据】Sqoop的安装及使用
660 0
|
12月前
|
SQL 分布式计算 关系型数据库
sqoop的安装和使用
sqoop的安装和使用
|
12月前
|
SQL 分布式计算 Oracle
Sqoop的安装与数据的导入导出
Sqoop的安装与数据的导入导出
106 0
|
SQL 资源调度 关系型数据库
数据迁移的工具Sqoop的安装与配置
数据迁移的工具Sqoop的安装与配置
109 0
|
SQL 分布式计算 Oracle
【Sqoop】(一)Sqoop 概述及安装环境搭建
【Sqoop】(一)Sqoop 概述及安装环境搭建
329 0
【Sqoop】(一)Sqoop 概述及安装环境搭建
|
SQL 分布式计算 关系型数据库
四十、centos安装sqoop(使用Sqoop完成MySQL和HDFS之间的数据互导)
四十、centos安装sqoop(使用Sqoop完成MySQL和HDFS之间的数据互导)
四十、centos安装sqoop(使用Sqoop完成MySQL和HDFS之间的数据互导)

相关实验场景

更多