使用阿里巴巴开源数据库同步工具DATAX实现跨数据库同步

  1. 云栖社区>
  2. 博客>
  3. 正文

使用阿里巴巴开源数据库同步工具DATAX实现跨数据库同步

lwqlwq 2017-11-14 16:39:15 浏览7871
展开阅读全文

使用阿里巴巴开源数据库同步工具DATAX实现跨数据库同步

  • DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括
    MySQL、Oracle、HDFS、Hive、OceanBase、HBase、OTS、ODPS

等各种异构数据源之间高效的数据同步功能。

点击进入

先请配置DataX 环境变量

Linux、Windows
JDK(1.8)
Python(推荐Python2.6.X)
Apache Maven 3.x (Compile DataX)
    下面演示dataX 
    配置示例:从MySQL读取数据 写入MYSQL
    (liunx/centos7) 各位学习的童鞋可以自己安装一个VM安装一个liunx系统
    
    演示条件
    mysql_reader 47.93.226.82:3606
    mysql_writer 47.93.226.82:3605
    安装mysql (作者docker安装mysql )
    docker run -p ip:ip --name mymysql -v $PWD/conf/my.cnf:/etc/mysql/my.cnf -v $PWD/logs:/logs -v $PWD/data:/mysql_data -e MYSQL_ROOT_PASSWORD=123456 -d imageid 
    -v 是挂载目录
    -p 是开放端口
    

一、工具下载以及部署

方法一、直接下载DataX工具包(如果仅是使用,推荐直接下载):DataX下载地址(http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz)

下载后解压至本地某个目录,修改权限为755,进入bin目录,即可运行样例同步作业:

$ tar zxvf datax.tar.gz
$ sudo chmod -R 755 {YOUR_DATAX_HOME}
$ cd  {YOUR_DATAX_HOME}/bin
$ python datax.py ../job/job.json

二、配置示例:从MySQL读取数据 写入MYSQL
   {
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader", 
                    "parameter": {
                        "column": ["id","real_name"], 
                        "connection": [
                            {
                    
                             "jdbcUrl": [
                                    "jdbc:mysql://47.93.226.82:3306/test"
                                ],
                                "table": ["t_ur_user_m"]
                            }
                        ], 
                        "password": "####", 
                        "username": "dev@####"
                    }
                }, 
                "writer": {
                    "name": "mysqlwriter", 
                    "parameter": {
                         "column": ["id","real_name"], 
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://47.93.226.82:3307/test?characterEncoding=utf-8",
                                "table": ["datax_user"]
                            }
                        ], 
                        "password": "####", 
                        "username": "dev@####"
                    }
                }
            }
           
            
        ], 
        "setting": {
            "speed": {
                "channel": "2"
            }
        }
    }
}
    

第三步:启动DataX

$ cd {YOUR_DATAX_DIR_BIN}
$ python datax.py ./mysql2odps.json 

同步结束,显示日志如下:

...
2015-12-17 11:20:25.263 [job-0] INFO  JobContainer - 
任务启动时刻                    : 2015-12-17 11:20:15
任务结束时刻                    : 2015-12-17 11:20:25
任务总计耗时                    :                 10s
任务平均流量                    :              205B/s
记录写入速度                    :              5rec/s
读出记录总数                    :                  50
读写失败总数                    :                   0

三、配置定时任务(Linux环境):从MySQL读取数据 写入ODPS,通过crontab命令实现

前置条件:安装crond服务,并已启动

#查看crond服务是否启动,出现以下日志表示已启动
$/sbin/service crond status
 crond (pid  30742) is running...
 crond (pid  30742) is running...

第一步:创建作业的配置文件(json格式) 参考上节内容。这里假设已配置好MySQL到ODPS的配置文件mysql2odps.json

第二步:列出列出crontab文件,命令: crontab -l
(1)若出现以下日志,表示当前用户没有定时任务,用户需要新建crontab文件,并提交crontab文件,参考第三步。

$crontab -l
 no crontab for xxx

(2)若出现以下日志,表示当前用户已经有正在运行的定时任务,用户只需用命令crontab -e 来编辑crontab文件,参考第四步。 shell $ crontab -l 0,10,20,35,44,50 python /home/admin/datax3/bin/datax.py /home/admin/mysql2odps.json >>/home/hanfa.shf/log.date +\%Y\%m\%d\%H\%M\%S 2>&1

第三步:若当前用户没有定时任务(之前从未创建过crontab任务)
(1)创建一个新的crontab文件,如取名crondatax
示例1:每天13点5分进行同步作业,并把运行日志输出到目录/home/hanfa.shf/下log.运行时间 文件中,如定时运行是在2016-3-26 13:10:13运行的,产生的日志文件名为:log.20160326131023

$ vim crondatax
#输入以下内容
5  13 * * *  python /home/admin/datax3/bin/datax.py /home/admin/mysql2odps.json  >>/home/hanfa.shf/log.`date +\%Y\%m\%d\%H\%M\%S`  2>&1
#/home/admin/datax3/bin/datax.py 表示你安装的DataX datax.py所在目录(请替换为您真实的绝对路径目录);
#/home/admin/mysql2odps.json  表示作业的配置文件目录(请替换为您真实的绝对路径目录);
#/home/hanfa.shf/log.`date +\%Y\%m\%d\%H\%M\%S` 表示日志输出位置,并以log.当前时间 命名(请替换为您真实的绝对路径目录)

(2)提交你刚刚创建的crontab文件 shell $ crontab crondatax #crondatax 你创建的crontab文件名 (3)重启crontab服务 shell $ sudo /etc/init.d/crond restart Stopping crond: [ OK ] Starting crond: [ OK ] (4)在13点5分过后,在日志目录会看到对应的日文件 shell $ ls -al /home/hanfa.shf/ -rw-r--r-- 1 hanfa.shf users 12062 Mar 26 13:05 log.20160326130501

第四步:若当前用户已有定时任务(想继续增加定时任务)
(1)编辑已有crontab文件
示例2:每10分钟运行一次同步任务,并把运行日志输出到目录/home/hanfa.shf/下log.运行时间 文件中,如定时运行是在2016-3-26 13:10:13运行的,产生的日志文件名为:log.20160326131023

$ crontab -e
#会进入已有crontab文件编辑界面,继续增加定时任务即可,本示例增加以下内容,并保存
0,10,20,30,40,50 * * * *  python /home/admin/datax3/bin/datax.py /home/admin/mysql2odps.json  >>/home/hanfa.shf/log.`date +\%Y\%m\%d\%H\%M\%S`  2>&1

(2)重启crontab服务


$ sudo /etc/init.d/crond restart Stopping crond: [ OK ] Starting crond: [ OK ] ``` (3)用crontab -l 命令检查是否添加成功

 $ crontab -l
5  13 * * *  python /home/admin/datax3/bin/datax.py /home/admin/mysql2odps.json  >>/home/hanfa.shf/log.`date +\%Y\%m\%d\%H\%M\%S`  2>&1
0,10,20,30,40,50 * * * *  python /home/admin/datax3/bin/datax.py /home/admin/mysql2odps.json  >>/home/hanfa.shf/log.



接下来请根据您所需要的插件完成配置,并完成同步。

所有数据源配置指南,请参考:DataX数据源指南
附录:

安装crond服务
yum install crontabs
服务操作说明:
/sbin/service crond start //启动服务
/sbin/service crond stop //关闭服务
/sbin/service crond restart //重启服务
/sbin/service crond reload //重新载入配置
加入开机自动启动:
/sbin/chkconfig --level 35 crond on  

网友评论

登录后评论
0/500
评论
lwqlwq
+ 关注