sqoop2 五分钟实例

简介:

一、启动客户端

sqoop2-shell


二、设置服务端

 set server --host your.host.com --port 12000 --webapp sqoop

或者

set server --url http://sqoop2.company.net:80/sqoop

当 --url被指定后 --host,--port,--webapp将要被忽略

三、查看版本

show version --all


四、创建link

显示可用的连接

 show connector


1)根据connector的id创建 link1,下面的4为generic-jdbc-connector 的id

 create link -c 4


填写信息

Name: First Link


JDBC Driver Class: com.mysql.jdbc.Driver

JDBC Connection String: jdbc:mysql://mysql.server/database


Username: root

Password: *****

entry#回车

New link was successfully created with validation status OK and persistent id 1

2)创建link2,下面的4为hdfs-connector 的id

 create link -c 3


Name: Second Link


Link configuration

HDFS URI: hdfs://master:9000/

New link was successfully created with validation status OK and persistent id 2


五、创建job



create job -f 1 -t 2

Name: Sqoopy


 FromJob configuration


  Schema name:(Required)test

  Table name:(Required)testsqoop

  Table SQL statement:(Optional)

  Table column names:(Optional)

  Partition column name:(Optional) id        说明:这个我没有指定 测试的表如果没有主键会报错

  Null value allowed for the partition column:(Optional)

  Boundary query:(Optional)


ToJob configuration


  Output format:

   0 : TEXT_FILE

   1 : SEQUENCE_FILE

  Choose: 0

  Compression format:

   0 : NONE

   1 : DEFAULT

   2 : DEFLATE

   3 : GZIP

   4 : BZIP2

   5 : LZO

   6 : LZ4

   7 : SNAPPY

   8 : CUSTOM

  Choose: 0

  Custom compression format:(Optional)

  Output directory:(Required)/testsqoop


  Driver Config

  Extractors:(Optional) 2

  Loaders:(Optional) 2

  New job was successfully created with validation status OK  and persistent id 1


六、运行job

start job -j 1


七、查看状态


status job -j 1


八、完成后查看hdfs中是否有/testsqoop目录(说明:重新运行job好像需要删除存在的目录)










本文转自 yntmdr 51CTO博客,原文链接:http://blog.51cto.com/yntmdr/1713190,如需转载请自行联系原作者
目录
相关文章
|
27天前
|
SQL 分布式计算 Java
bigdata-17-Hive部署与Hive基础
bigdata-17-Hive部署与Hive基础
39 0
|
1月前
|
SQL 关系型数据库 MySQL
Sqoop【付诸实践 01】Sqoop1最新版 MySQL与HDFS\Hive\HBase 核心导入导出案例分享+多个WRAN及Exception问题处理(一篇即可学会在日常工作中使用Sqoop)
【2月更文挑战第9天】Sqoop【付诸实践 01】Sqoop1最新版 MySQL与HDFS\Hive\HBase 核心导入导出案例分享+多个WRAN及Exception问题处理(一篇即可学会在日常工作中使用Sqoop)
94 7
|
3月前
|
分布式计算 Hadoop 关系型数据库
使用Sqoop将数据导入Hadoop的详细教程
使用Sqoop将数据导入Hadoop的详细教程
|
5月前
|
存储 SQL 关系型数据库
74 sqoop的数据导入
74 sqoop的数据导入
24 2
|
SQL 关系型数据库 MySQL
通过sqoop将mysql数据导入到hive中进行计算示例
通过sqoop将mysql数据导入到hive中进行计算示例
116 0
通过sqoop将mysql数据导入到hive中进行计算示例
|
SQL 分布式计算 Hadoop
使用Sqoop导出Mysql数据到Hive(实战案例)
使用Sqoop导出Mysql数据到Hive(实战案例)
444 0
使用Sqoop导出Mysql数据到Hive(实战案例)
|
SQL 关系型数据库 MySQL
Mysql和Hive之间通过Sqoop进行数据同步(3)
Mysql和Hive之间通过Sqoop进行数据同步(3)
241 0
Mysql和Hive之间通过Sqoop进行数据同步(3)
|
SQL 关系型数据库 MySQL
Mysql和Hive之间通过Sqoop进行数据同步(1)
Mysql和Hive之间通过Sqoop进行数据同步(1)
270 0
Mysql和Hive之间通过Sqoop进行数据同步(1)
|
SQL MySQL 关系型数据库
sqoop将mysql数据导入hbase、hive的常见异常处理
sqoop将mysql数据导入hbase、hive的常见异常处理一、需求:1、将以下这张表(test_goods[id,goods_name,goods_price])数据导入Hbase 由此,编写如下sqoop导入命令 sqoop import -D sqoop.
2774 0

相关课程

更多