sqoop详解

本文涉及的产品
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介: 版本 1.4.3sqoop help 命令帮助对应数据库的jdbc jar包复制到sqoop lib目录下1.把数据从mysql导入hdfs(默认是/user/<username>中sqoop import --connect  jdbc:mysql://localhost:3306/hive --username root --password root --tab


版本 1.4.3


sqoop help 命令帮助


对应数据库的jdbc jar包复制到sqoop lib目录下

1.把数据从mysql导入hdfs(默认是/user/<username>中


sqoop import --connect  jdbc:mysql://localhost:3306/hive --username root --password root --table  TBLS --fields-terminated-by  '\t'  --null-string '**'  -m 1 --append



m代表map个数

append代表追加,目录存在的情况下

--hive-import代表导入到hive中



2.把数据从hdfs导出到mysql都是按目录导出(mysql事先要存在一个数据库和表)

sqoop export --connect  jdbc:mysql://localhost:3306/hive --username root --password root --table  ids --fields-terminated-by  '\t'  --export-dir '/ids'
可以重复执行不断往mysql中插入


3.增量导入,生产中用的比较多(incremental)

--check-column 'TBL_ID'  --incremental append --last-value 6



4.设置作业

创建job(类似于脚本)

sqoop job --create  myjob -- import --connect  jdbc:mysql://localhost:3306/hive --username root --password root --table  TBLS --fields-terminated-by  '\t'  --null-string '**'  -m 1 --append

查看job

sqoop job --list

删除job

sqoop job --delete myjob

执行job

sqoop job --exec myjob

需要输入密码


5.导入导出的事务是以Mapper任务为单位

--satging-table中间表



staging-table <staging-table-name> 中间表


http://blog.csdn.net/yfkiss/article/details/17614721



本文出自 “点滴积累” 博客,请务必保留此出处http://tianxingzhe.blog.51cto.com/3390077/1700335

相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
5月前
|
分布式计算 Java 关系型数据库
73 sqoop安装
73 sqoop安装
28 2
|
2月前
|
SQL NoSQL 关系型数据库
SQOOP介绍
Sqoop是一款用于批量导入结构化数据到Hadoop分布式文件系统(HDFS)的工具,它支持从关系数据库、企业级数据仓库和NoSQL系统等外部存储系统中导入数据。【2月更文挑战第7天】
21 3
|
4月前
|
SQL 分布式计算 关系型数据库
sqoop快速安装
sqoop快速安装
24 0
|
4月前
|
SQL Java 关系型数据库
|
5月前
|
存储 SQL 关系型数据库
74 sqoop的数据导入
74 sqoop的数据导入
24 2
|
11月前
|
SQL 分布式计算 关系型数据库
sqoop的安装和使用
sqoop的安装和使用
|
SQL 监控 关系型数据库
sqoop学习总结
自行学习总结
|
分布式计算 大数据 关系型数据库
Sqoop安装
Sqoop是Hadoop生态里,实现Hive、Hbase等大数据数据库与MySQL、Oracle导入导出的工具。 其实就是包含两部分功能:(1)HDFS的读写能力(2)加载JDBC。
1770 0
|
分布式计算 关系型数据库 MySQL
|
分布式计算 Hadoop 关系型数据库