备案控制台
探索云世界
开发者社区 数据库 文章 正文

Mysql<->sqoop<->HDFS 数据交换实验

2017-11-22 1449
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云数据库 RDS MySQL Serverless，0.5-2RCU 50GB
推荐场景：
学生管理系统数据库设计 搭建个人博客
服务治理 MSE Sentinel/OpenSergo，Agent数量 不受限
简介：

 

SQOOP：Apache基金会下一个开源产品，Hadoop家族的一个产品，关系型数据库与HDFS文件系统之间进行数据交换，数据迁移的一个工具。

一、环境描述

Mysql版本：mysql-installer-community-5.5.27.1   32位

Mysql  for  Windows 7  32位：我把mysql数据库安装在了自己win7的笔记本上，这样的好处就是减少了虚拟机 master  slave的开销和使用空间还可以多利用一台机器的资源，如果你的虚拟机资源很紧张的话也可以这样部署。

Linux ISO：CentOS-6.0-i386-bin-DVD.iso 32位   

JDK version："1.6.0_25-ea"   for  linux

Hadoop software version：hadoop-0.20.205.0.tar.gz   for  linux

Mysql  version：mysql-installer-community-5.5.27.1   32位 for windows

sqoop version：sqoop-1.2.0-CDH3B4.tar.gz   for  linux

主机名

IP

节点名

备注

h1

192.168.2.102

master

namenode和jobtracker

h2

192.168.2.103

slave1

datanode和tasktracker

H4

192.168.2.105

slave2

datanode和tasktracker

 

MySQL部署在宿主环境中：http://f.dataguru.cn/thread-34746-1-1.html  参考飚哥风靡版


 

二、下载软件安装包

帖子名：hadoop第十周cloudera版sqoop包和hadoop-core-jar包下载

帖子网址：http://f.dataguru.cn/forum.php?mod=viewthread&tid=36867&fromuid=303

欢迎大家下载使用
sqoop-1.2.0-CDH3B4.tar.gz 和 hadoop-core-jar包  mysql-connector-java-5.1.22-bin.jar 包 是我们这次用到的

 

三、把下载好的文件加载到linux并解压

下载

[grid@h1 ~]$ pwd

/home/grid/

-rwxrw-rw-.  1 grid hadoop 67339212  4月 12 2011 hadoop-0.20.2-CDH3B4.tar.gz

-rwxrw-rw-.  1 grid hadoop   832960 11月 19 16:06 mysql-connector-java-5.1.22-bin.jar

-rwxrw-rw-.  1 grid hadoop  1543137  4月 12 2011 sqoop-1.2.0-CDH3B4.tar.gz

解压包

[grid@h1 ~]$ tar -zxvf hadoop-0.20.2-CDH3B4.tar.gz

[grid@h1 ~]$ tar -zxvf sqoop-1.2.0-CDH3B4.tar.gz

[grid@h1 ~]$ pwd

/home/grid/

drwxr-xr-x. 15 grid hadoop     4096  2月 22 2011 hadoop-0.20.2-CDH3B4      解压后目录

-rwxrw-rw-.  1 grid hadoop 67339212  4月 12 2011 hadoop-0.20.2-CDH3B4.tar.gz

-rwxrw-rw-.  1 grid hadoop   832960 11月 19 16:06 mysql-connector-java-5.1.22-bin.jar

drwxr-xr-x. 11 grid hadoop     4096  2月 22 2011 sqoop-1.2.0-CDH3B4          解压后目录

-rwxrw-rw-.  1 grid hadoop  1543137  4月 12 2011 sqoop-1.2.0-CDH3B4.tar.gz


 

四、拷贝hadoop-core-0.20.2-CDH3B4.jar和mysql-connector-java-5.1.22-bin.jar到/home/grid/sqoop-1.2.0-CDH3B4/lib/目录下

[grid@h1 ~]$ cd hadoop-0.20.2-CDH3B4

[grid@h1 hadoop-0.20.2-CDH3B4]$ cp hadoop-core-0.20.2-CDH3B4.jar  /home/grid/sqoop-1.2.0-CDH3B4/lib/

[grid@h1 grid]$ cp mysql-connector-java-5.1.22-bin.jar  /home/grid/sqoop-1.2.0-CDH3B4/lib/

 

五、配置sqoop-1.2.0-CDH3B4/bin/configure-sqoop文件

[grid@h1 conf]$ cd ../bin

[grid@h1 bin]$ pwd

/home/grid/sqoop-1.2.0-CDH3B4/bin

[grid@h1 bin]$ vim configure-sqoop

注释掉hbase和zookeeper检查（除非你准备使用HABASE等HADOOP上的组件）

# Check: If we can't find our dependencies, give up here.

if [ ! -d "${HADOOP_HOME}" ]; then

  echo "Error: $HADOOP_HOME does not exist!"

  echo 'Please set $HADOOP_HOME to the root of your Hadoop installation.'

  exit 1

fi      只有红色需要修改

#if [ ! -d "${HBASE_HOME}" ]; then

  #echo "Error: $HBASE_HOME does not exist!"

  #echo 'Please set $HBASE_HOME to the root of your HBase installation.'

  #exit 1

#fi

#if [ ! -d "${ZOOKEEPER_HOME}" ]; then

# echo "Error: $ZOOKEEPER_HOME does not exist!"

# echo 'Please set $ZOOKEEPER_HOME to the root of your ZooKeeper installation.'

# exit 1

#fi


 

六、配置所需环境变量

在哪里执行sqoop，就在哪台机器上设置一下

[grid@h1 grid]$ vim .bashrc    添加

export JAVA_HOME=/usr

export JRE_HOME=/usr/java/jdk1.6.0_25/jre

export PATH=/usr/java/jdk1.6.0_25/bin:/home/grid/hadoop-0.20.2/bin:/home/grid/pig-0.9.2/bin:$PATH

export CLASSPATH=./:/usr/java/jdk1.6.0_25/lib:/usr/java/jdk1.6.0_25/jre/lib

export PIG_CLASSPATH=/home/grid/hadoop-0.20.2/conf

export HIVE_HOME=/home/grid/hive-0.8.1

export HIVE_CONF_DIR=$HIVE_HOME/conf

export HADOOP_HOME=/home/grid/hadoop-0.20.2   

作用：让sqoop程序从环境变量里找到hadoop的位置，从而找到hadoop配置文件，知道集群的部署情况

[grid@h1 grid]$ echo $HADOOP_HOME      检查一下没有问题

/home/grid/hadoop-0.20.2


 

七、配置启动HADOOP集群

H1机器  master

[grid@h1 bin]$ pwd

/home/grid/hadoop-0.20.2/bin

[grid@h1 bin]$ ./start-all.sh

starting namenode, logging to /home/grid/hadoop-0.20.2/bin/../logs/hadoop-grid-namenode-h1.out

h2: starting datanode, logging to /home/grid/hadoop-0.20.2/bin/../logs/hadoop-grid-datanode-h2.out

h4: starting datanode, logging to /home/grid/hadoop-0.20.2/bin/../logs/hadoop-grid-datanode-h4.out

h1: starting secondarynamenode, logging to /home/grid/hadoop-0.20.2/bin/../logs/hadoop-grid-secondarynamenode-h1.out

starting jobtracker, logging to /home/grid/hadoop-0.20.2/bin/../logs/hadoop-grid-jobtracker-h1.out

h2: starting tasktracker, logging to /home/grid/hadoop-0.20.2/bin/../logs/hadoop-grid-tasktracker-h2.out

h4: starting tasktracker, logging to /home/grid/hadoop-0.20.2/bin/../logs/hadoop-grid-tasktracker-h4.out

[grid@h1 bin]$ jps

17191 JobTracker

16955 NameNode

17442 Jps

17121 SecondaryNameNode

H2机器  slave

[grid@h2 ~]$ jps

32523 Jps

17188 TaskTracker

13727 HQuorumPeer

17077 DataNode

H4机器  slave

[grid@h4 ~]$ jps

27829 TaskTracker

26875 Jps

17119 DataNode

31083 Jps

11557 HQuorumPeer

[grid@h1 bin]$ ./hadoop dfsadmin –report          检查hadoop集群状态

Configured Capacity: 19865944064 (18.5 GB)

Present Capacity: 8741523456 (8.14 GB)

DFS Remaining: 8726482944 (8.13 GB)

DFS Used: 15040512 (14.34 MB)

DFS Used%: 0.17%

Under replicated blocks: 4

Blocks with corrupt replicas: 0

Missing blocks: 0

-------------------------------------------------

Datanodes available: 2 (2 total, 0 dead)             --2个节点存活无shutdown

Name: 192.168.2.103:50010                                -- slaves  h2

Decommission Status : Normal                             --状态正常

Configured Capacity: 9932972032 (9.25 GB)

DFS Used: 7520256 (7.17 MB)

Non DFS Used: 5447561216 (5.07 GB)

DFS Remaining: 4477890560(4.17 GB)

DFS Used%: 0.08%

DFS Remaining%: 45.08%

Last contact: Fri Dec 14 18:10:11 CST 2012

Name: 192.168.2.105:50010                              -- slaves  h4

Decommission Status : Normal                           --状态正常

Configured Capacity: 9932972032 (9.25 GB)

DFS Used: 7520256 (7.17 MB)

Non DFS Used: 5676859392 (5.29 GB)

DFS Remaining: 4248592384(3.96 GB)

DFS Used%: 0.08%

DFS Remaining%: 42.77%

Last contact: Fri Dec 14 18:10:11 CST 2012

集群正常启动了


 

八、启动mysql，创建leo用户进行sqoop连接

1. 必须启动服务才能操作数据库

数据库端口：3306

Mysqll服务名：MySQL55

Mysql状态：已经启动

创建leo用户

grant all privileges on *.* to 'leo'@'%' identified by 'leo' with grant option;

select * from mysql.user;

flush privileges; 

 

 

九、mysql 中建立sqoop库，test表，添加数据

[grid@h1 bin]$ ping 192.168.2.110                          检查linux for windows 的连接性

PING 192.168.2.110 (192.168.2.110) 56(84) bytes of data.

64 bytes from 192.168.2.110: icmp_seq=1 ttl=64 time=14.5 ms

64 bytes from 192.168.2.110: icmp_seq=2 ttl=64 time=3.43 ms

64 bytes from 192.168.2.110: icmp_seq=3 ttl=64 time=9.68 ms

64 bytes from 192.168.2.110: icmp_seq=4 ttl=64 time=0.549 ms

^C

--- 192.168.2.110 ping statistics ---

4 packets transmitted, 4 received, 0% packet loss, time 3630ms

rtt min/avg/max/mdev = 0.549/7.063/14.577/5.453 ms

[grid@h1 grid]$ mysql -h192.168.2.110 -uleo –pleo  使用leo用户登录数据库

命令列表

show  databases;                         显示当前有哪些数据库

create  database  sqoop;           创建sqoop数据库

use  sqoop;                                    只有打开sqoop数据库才能操作哦

create  table  leo1 (user_id  int, user_name  varchar(10),class  int);    创建leo1表

insert into leo1 values(1,'leonarding',10);    插入5条记录

insert into leo1 values(2,'wubiao',20);

insert into leo1 values(3,'alan',30);

insert into leo1 values(4,'sun',40);

insert into leo1 values(5,'liyang',50);

show  tables;                                 显示当前数据库中存在哪些表

[grid@h1 grid]$ mysql -h192.168.2.110 -uleo -pleo

Welcome to the MySQL monitor.  Commands end with ; or \g.

Your MySQL connection id is 5

Server version: 5.5.27 MySQL Community Server (GPL)

Copyright (c) 2000, 2010, Oracle and/or its affiliates. All rights reserved.

This software comes with ABSOLUTELY NO WARRANTY. This is free software,

and you are welcome to modify and redistribute it under the GPL v2 license

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> show databases;

+--------------------+

| Database           |

+--------------------+

| information_schema |

| hive               |

| mysql              |

| performance_schema |

| sakila             |

| test               |

| world              |

+--------------------+

7 rows in set (0.01 sec)

mysql> create database sqoop;             创建sqoop数据库

Query OK, 1 row affected (0.06 sec)

mysql> use sqoop;

Database changed

mysql> show databases;

+--------------------+

| Database           |

+--------------------+

| information_schema |

| hive               |

| mysql              |

| performance_schema |

| sakila             |

| sqoop              |                                          sqoop数据库已经创建完毕

| test               |

| world              |

+--------------------+

8 rows in set (0.00 sec)

mysql> create  table  leo1 (user_id  int, user_name  varchar(10),class  int);   创建leo1表

Query OK, 0 rows affected (1.82 sec)

mysql> insert into leo1 values(1,'leonarding',10);

Query OK, 1 row affected (0.12 sec)

mysql> insert into leo1 values(2,'wubiao',20);

Query OK, 1 row affected (0.06 sec)

mysql> insert into leo1 values(3,'alan',30);

Query OK, 1 row affected (1.02 sec)

mysql> insert into leo1 values(4,'sun',40);

Query OK, 1 row affected (0.05 sec)

mysql> insert into leo1 values(5,'liyang',50);

Query OK, 1 row affected (0.05 sec)

mysql> show tables;                               sqoop数据库中就有一个leo1表

+-----------------+

| Tables_in_sqoop |

+-----------------+

| leo1            |

+-----------------+

1 row in set (0.00 sec)

mysql> select * from leo1;                     表中有5行数据

+---------+------------+-------+

| user_id | user_name  | class |

+---------+------------+-------+

|       1 | leonarding |    10 |

|       2 | wubiao     |    20 |

|       3 | alan       |    30 |

|       4 | sun        |    40 |

|       5 | liyang     |    50 |

+---------+------------+-------+

5 rows in set (0.00 sec)

 

十、测试sqoop连接性

[grid@h1 grid]$ sqoop-1.2.0-CDH3B4/bin/sqoop list-databases --connect jdbc:mysql://192.168.2.110:3306/ --username leo --password leo              

参数解释：

--connect jdbc:mysql://192.168.2.110:3306/  指定mysql数据库主机名和端口号

--username leo                         数据库用户名

--password leo                          数据库密码

12/12/15 00:15:56 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.                  这里提示密码复杂度低安全性差

12/12/15 00:16:16 INFO manager.MySQLManager: Executing SQL statement: SHOW DATABASES                                                                             显示所有数据库

information_schema

hive

mysql

performance_schema

sakila

sqoop                                             这是我们刚才建立的数据库

test

world

从linux上通过sqoop可以正常连接到mysql数据库中

 

十一、从mysql中导出数据->SQOOP->导入HDFS文件系统

[grid@h1 grid]$ sqoop-1.2.0-CDH3B4/bin/sqoop import --connect jdbc:mysql://192.168.2.110:3306/sqoop --username leo --password leo --table leo1 -m 1

参数解释：

--connect jdbc:mysql://192.168.2.110:3306/sqoop     指定mysql数据库主机名和端口号和数据库名

--username leo                                 指定数据库用户名

--password leo                                 指定数据库密码

--table leo1                                    mysql中即将导出的表

-m 1                             指定启动一个map进程，如果表很大，可以启动多个map进程

导入路径                         默认/user/grid/leo1/part-m-00000

12/12/15 00:36:30 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.

12/12/15 00:36:30 INFO tool.CodeGenTool: Beginning code generation

12/12/15 00:36:30 INFO manager.MySQLManager: Executing SQL statement: SELECT t.* FROM `leo1` AS t LIMIT 1

12/12/15 00:36:30 INFO manager.MySQLManager: Executing SQL statement: SELECT t.* FROM `leo1` AS t LIMIT 1     访问的表

12/12/15 00:36:31 INFO orm.CompilationManager: HADOOP_HOME is /home/grid/hadoop-0.20.2/bin/..

12/12/15 00:36:31 INFO orm.CompilationManager: Found hadoop core jar at: /home/grid/hadoop-0.20.2/bin/../hadoop-0.20.2-core.jar       找到hadoop核心jar

12/12/15 00:36:38 INFO orm.CompilationManager: Writing jar file: /tmp/sqoop-grid/compile/8d5e146de1ec99ef7d7ea6789b6b4441/leo1.jar  写入jar包

12/12/15 00:36:39 WARN manager.MySQLManager: It looks like you are importing from mysql.

12/12/15 00:36:39 WARN manager.MySQLManager: This transfer can be faster! Use the --direct

12/12/15 00:36:39 WARN manager.MySQLManager: option to exercise a MySQL-specific fast path.

12/12/15 00:36:39 INFO manager.MySQLManager: Setting zero DATETIME behavior to convertToNull (mysql)

12/12/15 00:36:39 INFO mapreduce.ImportJobBase: Beginning import of leo1

12/12/15 00:36:43 INFO manager.MySQLManager: Executing SQL statement: SELECT t.* FROM `leo1` AS t LIMIT 1

12/12/15 00:37:05 INFO mapred.JobClient: Running job: job_201212141802_0001    作业编号（开始）

12/12/15 00:37:07 INFO mapred.JobClient:  map 0% reduce 0%

12/12/15 00:39:27 INFO mapred.JobClient:  map 100% reduce 0%               

12/12/15 00:39:29 INFO mapred.JobClient: Job complete: job_201212141802_0001   作业编号（完成）

12/12/15 00:39:29 INFO mapred.JobClient: Counters: 5                          

12/12/15 00:39:29 INFO mapred.JobClient:   Job Counters

12/12/15 00:39:29 INFO mapred.JobClient:     Launched map tasks=1            启动一个map进程

12/12/15 00:39:29 INFO mapred.JobClient:   FileSystemCounters

12/12/15 00:39:29 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=59

12/12/15 00:39:29 INFO mapred.JobClient:   Map-Reduce Framework

12/12/15 00:39:29 INFO mapred.JobClient:     Map input records=5           map导入5条记录

12/12/15 00:39:29 INFO mapred.JobClient:     Spilled Records=0              无溢出

12/12/15 00:39:29 INFO mapred.JobClient:     Map output records=5          map导出5条记录

12/12/15 00:39:29 INFO mapreduce.ImportJobBase: Transferred 59 bytes in 165.1492 seconds (0.3573 bytes/sec)                                    导出59个字节，用时165秒

12/12/15 00:39:29 INFO mapreduce.ImportJobBase: Retrieved 5 records.         导入HDFS中5行

我们在HDFS中检查一下

[grid@h1 grid]$ hadoop dfs -ls

Found 5 items

drwxr-xr-x   - grid supergroup          0 2012-11-02 20:55 /user/grid/in

drwxr-xr-x   - grid supergroup          0 2012-12-15 00:39 /user/grid/leo1

drwxr-xr-x   - grid supergroup          0 2012-10-12 12:15 /user/grid/out1

drwxr-xr-x   - grid supergroup          0 2012-10-13 18:02 /user/grid/out2

drwxr-xr-x   - grid supergroup          0 2012-11-03 21:28 /user/grid/pig

[grid@h1 grid]$ hadoop dfs -ls leo1

Found 2 items

drwxr-xr-x   - grid supergroup          0 2012-12-15 00:37 /user/grid/leo1/_logs

-rw-r--r--   2 grid supergroup         59 2012-12-15 00:39 /user/grid/leo1/part-m-00000

[grid@h1 grid]$ hadoop dfs -cat leo1/part-m-00000

1,leonarding,10

2,wubiao,20

3,alan,30

4,sun,40

5,liyang,50

到此我们导入和验证完毕，完成了从mysql数据库成功导入HDFS文件系统

 

十二、从HDFS中导出数据->SQOOP->导入MYSQL数据库

[grid@h1 grid]$ sqoop-1.2.0-CDH3B4/bin/sqoop export --connect jdbc:mysql://192.168.2.110:3306/sqoop --username leo --password leo --table leo1 --export-dir hdfs://h1:9000/user/grid/leo1/part-m-00000 -m 1

参数解释：

--connect jdbc:mysql://192.168.2.110:3306/sqoop     指定mysql数据库主机名和端口号和数据库名

--username leo                                 指定数据库用户名

--password leo                                  指定数据库密码

--table leo1                                     mysql即将导入的表

-m 1   

--export-dir hdfs://h1:9000/user/grid/leo1/part-m-00000  HDFS导出文件路径

12/12/15 01:10:01 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.

12/12/15 01:10:01 INFO tool.CodeGenTool: Beginning code generation

12/12/15 01:10:02 INFO manager.MySQLManager: Executing SQL statement: SELECT t.* FROM `leo1` AS t LIMIT 1

12/12/15 01:10:02 INFO manager.MySQLManager: Executing SQL statement: SELECT t.* FROM `leo1` AS t LIMIT 1

12/12/15 01:10:02 INFO orm.CompilationManager: HADOOP_HOME is /home/grid/hadoop-0.20.2/bin/..

12/12/15 01:10:02 INFO orm.CompilationManager: Found hadoop core jar at: /home/grid/hadoop-0.20.2/bin/../hadoop-0.20.2-core.jar

12/12/15 01:10:03 INFO orm.CompilationManager: Writing jar file: /tmp/sqoop-grid/compile/d3851be739254c3d3ae5e0e71da52f5c/leo1.jar

12/12/15 01:10:03 INFO mapreduce.ExportJobBase: Beginning export of leo1    始导入

12/12/15 01:10:04 INFO manager.MySQLManager: Executing SQL statement: SELECT t.* FROM `leo1` AS t LIMIT 1  导入到哪张表

12/12/15 01:10:04 INFO input.FileInputFormat: Total input paths to process : 1

12/12/15 01:10:04 INFO input.FileInputFormat: Total input paths to process : 1

12/12/15 01:10:04 INFO mapred.JobClient: Running job: job_201212141802_0002   作业编号（开始）

12/12/15 01:10:05 INFO mapred.JobClient:  map 0% reduce 0%

12/12/15 01:12:23 INFO mapred.JobClient:  map 100% reduce 0%

12/12/15 01:12:25 INFO mapred.JobClient: Job complete: job_201212141802_0002  作业编号（完成）

12/12/15 01:12:26 INFO mapred.JobClient: Counters: 6

12/12/15 01:12:26 INFO mapred.JobClient:   Job Counters

12/12/15 01:12:26 INFO mapred.JobClient:     Rack-local map tasks=1   

12/12/15 01:12:26 INFO mapred.JobClient:     Launched map tasks=1         启动一个map进程

12/12/15 01:12:26 INFO mapred.JobClient:   FileSystemCounters

12/12/15 01:12:26 INFO mapred.JobClient:     HDFS_BYTES_READ=65

12/12/15 01:12:26 INFO mapred.JobClient:   Map-Reduce Framework

12/12/15 01:12:26 INFO mapred.JobClient:     Map input records=5

12/12/15 01:12:26 INFO mapred.JobClient:     Spilled Records=0

12/12/15 01:12:26 INFO mapred.JobClient:     Map output records=5

12/12/15 01:12:26 INFO mapreduce.ExportJobBase: Transferred 65 bytes in 141.9968 seconds (0.4578 bytes/sec)                                   导出65个字节，用时141秒

12/12/15 01:12:26 INFO mapreduce.ExportJobBase: Exported 5 records.

我们在MYSQL中检查一下，已经成功导入到mysql，现在是10条记录比原来多了5条

mysql> select * from leo1;

+---------+------------+-------+

| user_id | user_name  | class |

+---------+------------+-------+

|       1 | leonarding |    10 |

|       2 | wubiao     |    20 |

|       3 | alan       |    30 |

|       4 | sun        |    40 |

|       5 | liyang     |    50 |

|       1 | leonarding |    10 |

|       2 | wubiao     |    20 |

|       3 | alan       |    30 |

|       4 | sun        |    40 |

|       5 | liyang     |    50 |

+---------+------------+-------+

10 rows in set (0.00 sec)

到此我们导出和验证完毕，完成从HDFS文件系统成功导出到mysql数据库



 本文转自 leonarding151CTO博客，原文链接：http://blog.51cto.com/leonarding/1092764，如需转载请自行联系原作者



文章标签：
云数据库HBase版
微服务引擎
云数据库 RDS MySQL 版
关系型数据库
数据库
MySQL
分布式计算
Hadoop
关键词：
云数据库 RDS MySQL 版实验
文件存储HDFS版sqoop
文件存储HDFS版mysql
sqoop文件存储HDFS版
mysql文件存储HDFS版
相关实践学习
云数据库HBase版使用教程
&nbsp; 相关的阿里云产品：云数据库 HBase 版 面向大数据领域的一站式NoSQL服务，100%兼容开源HBase并深度扩展，支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力，是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库，是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情:&nbsp;https://cn.aliyun.com/product/hbase &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验：数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引，您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接，领取免费ECS&amp;RDS资源，30分钟完成数据库上云实战！https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
技术小胖子
目录
相关文章
yuanzhengme
|
1月前
|
SQL 关系型数据库 MySQL
Sqoop【付诸实践 01】Sqoop1最新版 MySQL与HDFS\Hive\HBase 核心导入导出案例分享+多个WRAN及Exception问题处理（一篇即可学会在日常工作中使用Sqoop）
【2月更文挑战第9天】Sqoop【付诸实践 01】Sqoop1最新版 MySQL与HDFS\Hive\HBase 核心导入导出案例分享+多个WRAN及Exception问题处理（一篇即可学会在日常工作中使用Sqoop）
yuanzhengme
88 7
yuanzhengme
|
1月前
|
分布式计算 关系型数据库 MySQL
Sqoop【部署 01】CentOS Linux release 7.5 安装配置 sqoop-1.4.7 解决警告并验证（附Sqoop1+Sqoop2最新版安装包+MySQL驱动包资源）
【2月更文挑战第8天】Sqoop CentOS Linux release 7.5 安装配置 sqoop-1.4.7 解决警告并验证（附Sqoop1+Sqoop2最新版安装包+MySQL驱动包资源）
yuanzhengme
93 1
骚戴
|
17天前
|
存储 Java 关系型数据库
实验设备管理系统【GUI/Swing+MySQL】（Java课设）
实验设备管理系统【GUI/Swing+MySQL】（Java课设）
骚戴
10 0
魏红斌
|
4月前
|
关系型数据库 MySQL Serverless
PolarDB MySQL 版 Serverless全方位压测实验测评报告
个人测评
魏红斌
780 1
流楚丶格念
|
6月前
|
关系型数据库 MySQL 索引
MySQL命中索引代码实验案例
MySQL命中索引代码实验案例
流楚丶格念
67 0
赵广陆
|
7月前
|
关系型数据库 MySQL 大数据
大数据Sqoop将mysql直接抽取至Hbase
大数据Sqoop将mysql直接抽取至Hbase
赵广陆
76 0
赵广陆
|
7月前
|
SQL 分布式计算 分布式数据库
大数据Sqoop借助Hive将Mysql数据导入至Hbase
大数据Sqoop借助Hive将Mysql数据导入至Hbase
赵广陆
153 0
小七天
|
8月前
|
弹性计算 关系型数据库 MySQL
基于ECS和云数据库RDS MySQL Serverless快速搭建个人博客实验体验报告
通过安装Apache+PHP+WordPress网站环境，并结合RDS MySQL版数据库实例，快速搭建自己的云上博客。
小七天
253 43
星光下的赶路人
|
8月前
|
JSON 缓存 关系型数据库
5、DataX（DataX简介、DataX架构原理、DataX部署、使用、同步MySQL数据到HDFS、同步HDFS数据到MySQL）（二）
5、DataX（DataX简介、DataX架构原理、DataX部署、使用、同步MySQL数据到HDFS、同步HDFS数据到MySQL）（二）
星光下的赶路人
845 0
不写代码！
|
10月前
|
SQL 分布式计算 关系型数据库
大数据 | （五）通过Sqoop实现从MySQL导入数据到HDFS
大数据 | （五）通过Sqoop实现从MySQL导入数据到HDFS
不写代码！
158 0

热门文章

最新文章

  • 1
    Sqoop数据迁移工具使用与优化技巧：面试经验与必备知识点解析
  • 2
    超1/3中国500强企业都在用的「汇联易」，为什么选用阿里云RDS？
  • 3
    详解MySQL字符集和Collation
  • 4
    RDS MySQL 数据库运维简述
  • 5
    阿里云mysql数据库价格购买和使用教程
  • 6
    阿里云MySQL云数据库优惠价格、购买和使用教程分享！
  • 7
    阿里云MySQL数据库价格、购买、创建账号密码和连接数据库教程
  • 8
    使用阿里云的数据传输服务DTS（Data Transmission Service）进行MySQL 5.6到MySQL 8.0的迁移
  • 9
    Docker安装详细步骤及相关环境安装配置（mysql、jdk、redis、自己的私有仓库Gitlab 、C和C++环境以及Nginx服务代理）
  • 10
    购买阿里云RDS实例
  • 1
    Sqoop【付诸实践 01】Sqoop1最新版 MySQL与HDFS\Hive\HBase 核心导入导出案例分享+多个WRAN及Exception问题处理（一篇即可学会在日常工作中使用Sqoop）
    88
  • 2
    Flink报错问题之flink-sql写hdfs报错如何解决
    44
  • 3
    HDFS体系结构的局限性
    39
  • 4
    NameNode和DataNode在HDFS中的作用是什么？
    112
  • 5
    Hadoop的Secondary NameNode在HDFS中的作用是什么？
    36
  • 6
    HDFS中的数据一致性是如何保证的？请解释数据一致性的概念和实现方式。
    77
  • 7
    HDFS的数据读取流程是怎样的？请描述数据读取的过程。
    25
  • 8
    HDFS如何处理故障和节点失效？请解释故障恢复机制。
    44
  • 9
    HDFS的数据写入流程是怎样的？请描述数据写入的过程。
    20
  • 10
    HDFS如何处理大文件和小文件的存储和访问？
    46

    • 相关课程

    更多
  • MySQL企业常见架构与调优经验分享
  • 云数据库MySQL版快速上手教程
  • 阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
  • MySQL实战进阶
  • 数据库及SQL/MySQL基础
  • 云数据库MySQL快速入门

    • 相关电子书

    更多
  • 搭建电商项目架构连接MySQL
  • 搭建4层电商项目架构，实战连接MySQL
  • PolarDB MySQL引擎重磅功能及产品能力盛大发布

    • 相关实验场景

    更多
  • 测试场景（RDS无优惠）
  • MySQL引擎及架构优化
  • 基于EBS部署高性能的MySQL服务
  • 使用Python完成RDS数据开发及分析
  • Excel文件转存到RDS数据库
  • 使用CloudLens采集RDS日志并进行审计分析

    • 推荐镜像

    更多
  • mysql
  • postgresql
  • mariadb
    • 下一篇
    阿里云oss简介和使用流程
    为什么选择阿里云什么是云计算全球基础设施技术领先稳定可靠安全合规分析师报告
    产品和定价全部产品免费试用产品动态产品定价价格计算器云上成本管理
    解决方案技术解决方案
    文档与社区文档开发者社区天池大赛培训与认证
    权益中心免费试用高校计划企业扶持计划推荐返现计划
    支持与服务基础服务企业增值服务迁云服务官网公告健康看板信任中心
    关注阿里云
    关注阿里云公众号或下载阿里云APP，关注云资讯，随时随地运维管控云服务
    阿里云APP阿里云微信
    联系我们：4008013260
    法律声明Cookies政策廉正举报安全举报联系我们加入我们
    阿里巴巴集团淘宝网天猫全球速卖通阿里巴巴国际交易市场1688阿里妈妈飞猪阿里云计算AliOS万网高德UC友盟优酷钉钉支付宝达摩院淘宝海外阿里云盘饿了么
    © 2009-2024 Aliyun.com 版权所有 增值电信业务经营许可证： 浙B2-20080101 域名注册服务机构许可： 浙D3-20210002 京D3-20220015
    浙公网安备 33010602009975号浙B2-20080101-4