Sqoop基础学习(1)

简介: 1. Sqoop的导入过程在开始导入之前,Sqoop会通过JDBC来获得所需要的数据库元数据1.导入表的列名、数据类型等;2.接着这些数据库的数据类型(varchar、number等)会把映射成Java的数据类型(String、int等),根据这些信息,Sqoop会生成一个与表名同名的类用来完成反序列的工作,保持表中的每一行记录;3.Sqoop启动MapRedu

1. Sqoop的导入过程

在开始导入之前,Sqoop会通过JDBC来获得所需要的数据库元数据

  • 1.导入表的列名、数据类型等;
  • 2.接着这些数据库的数据类型(varchar、number等)会把映射成Java的数据类型(String、int等),根据这些信息,Sqoop会生成一个与表名同名的类用来完成反序列的工作,保持表中的每一行记录;
  • 3.Sqoop启动MapReduce作业
  • 4.启动的作业在input的过程中,会通过JDBC读取数据库表中的内容;
  • 5.这是会使用Sqoop生成的类进行反序列话
  • 6.最后再将这些记录写到HDFS中,在写入HDFS的过程中,同样会使用Sqoop生成的类进行序列化。

2. Sqoop的导出过程

  • 1/2 Sqoop根据目标表的结构会生成一个Java类
  • 3.该类作用为序列化和反序列化
  • 4.接着启动一个MapReduce作业
  • 5.在作业中会生成的Java类从HDFS中读取数据
  • 6.并生成一批INSERT语句,每条语句都会向MySQL的目标表中插入多条记录
目录
打赏
0
0
0
0
45
分享
相关文章
Sqoop【付诸实践 01】Sqoop1最新版 MySQL与HDFS\Hive\HBase 核心导入导出案例分享+多个WRAN及Exception问题处理(一篇即可学会在日常工作中使用Sqoop)
【2月更文挑战第9天】Sqoop【付诸实践 01】Sqoop1最新版 MySQL与HDFS\Hive\HBase 核心导入导出案例分享+多个WRAN及Exception问题处理(一篇即可学会在日常工作中使用Sqoop)
382 7
大数据编程技术基础实验八:Flume实验——文件数据Flume至HDFS
大数据技术基础实验八,学习安装部署Flume并将写入Flume的文件数据上传至HDFS。
524 0
大数据编程技术基础实验八:Flume实验——文件数据Flume至HDFS
BigData:大数据开发的简介、核心知识(linux基础+Java/Python编程语言+Hadoop{HDFS、HBase、Hive}+Docker)、经典场景应用之详细攻略
BigData:大数据开发的简介、核心知识(linux基础+Java/Python编程语言+Hadoop{HDFS、HBase、Hive}+Docker)、经典场景应用之详细攻略
BigData:大数据开发的简介、核心知识(linux基础+Java/Python编程语言+Hadoop{HDFS、HBase、Hive}+Docker)、经典场景应用之详细攻略
Sqoop进行Hadoop生态离线数据迁移工具
学习一个东西,个人认为最好的方式是:官网+源码+实践。 Sqoop官网:http://sqoop.apache.org
537 0
Sqoop进行Hadoop生态离线数据迁移工具
【Sqoop】(一)Sqoop 概述及安装环境搭建
【Sqoop】(一)Sqoop 概述及安装环境搭建
471 0
【Sqoop】(一)Sqoop 概述及安装环境搭建
【Sqoop】(二)Sqoop 的简单使用案例
【Sqoop】(二)Sqoop 的简单使用案例
229 0

热门文章

最新文章

相关实验场景

更多
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等