迁移 RDS for MySQL 数据到本地 MySQL

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介:

背景

 公司的业务系统采用阿里云的RDS云数据库,最近有一个需求:迁移 RDS for MySQL 数据到本地 MySQL。阿里云数据库 MySQL 版支持通过物理备份文件和逻辑备份文件两种途径将云上数据迁移到本地数据库。我公司采用mysql5.6版,备分策略是自动全量物理备份。本地系统是Centos 6.8 X64,此教程提供两种方法,任选其一即可。


备注:因为软件限制,目前数据恢复只支持在 Linux 系统下进行。如果您要恢复数据到 Windows 系统,可以先将数据恢复到 Linux 系统下,再将数据迁移到 Windows 系统。


方法一:

前提条件

阿里云数据库使用开源软件 Xtrabackup 对 MySQL 数据库进行全量物理备份。用户需要下载该软件,并使用该软件进行数据恢复。Xtrabackup 官方网站为:http://www.percona.com/,请下载与您操作系统版本对应的 Xtrabackup 版本。例如:下载 RHEL6/x86_64 版本,并使用 rpm 命令进行安装。

rpm -ivh percona-xtrabackup-24-2.4.6-2.el6.x86_64.rpm


 

在进行RDS本地恢复数据之前,我们需要先在本地服务器上安装mysql的5.6版本,因为RDS是5.6版本,所以我们本地的mysql数据库要与RDS版本对应。

1
rpm  - ivh http: / / repo.mysql.com / mysql - community - release - el6 - 5.noarch .rpm && yum  - y install mysql - server mysql

 

操作步骤

本例以本地服务器为Centos6.8/x64 系统,备份文件存储路径为 /home/mysql/ 为例。

下载云数据库 物理备份文件 并上传至目标服务器。备份文件获取方法请参见 下载备份数据。如果目标服务器可以访问源实例,您也可以使用 wget "url" 下载备份文件。

其中 url 为备份文件下载地址。

 

切换路径到备份文件所在路径。

cd /home/mysql/

 

解压备份文件。

tar -zxvf hins2230233_data_20170331110337.tar.gz

 

检查解压后文件包含的数据库是否正确。蓝色部分都是我公司所用数据库。

image

 

恢复数据文件

innobackupex --defaults-file=./backup-my.cnf --apply-log ./

系统显示 innobackupex: completed OK!,则数据恢复成功。

image

 

修改配置文件。将解压文件 backup-my.cnf 中的 innodb_fast_checksuminnodb_page_sizeinnodb_log_block_size注释掉,并且添加 datadir=/home/mysql,如下所示。

 

1
2
3
4
5
6
7
8
9
10
# This MySQL options file was generated by innobackupex.
# The MySQL server   
[mysqld]    
innodb_data_file_path = ibdata1: 200M :autoextend    
innodb_log_files_in_group = 2    
innodb_log_file_size = 524288000    
#innodb_fast_checksum=false    
#innodb_page_size=16384    
#innodb_log_block_size=512    
datadir = / home / mysql

 

复制backup-my.cnf 文件到/etc/my.cnf,mysql启动默认会去/etc目录下查找此文件

cp  backup-my.cnf  /etc/my.cnf

 

修改文件属主。

chown -R mysql:mysql /home/mysql/

 

启动 mysqld 进程。

mysqld_safe &

 

使用客户端登录数据库。此时数据库root没有密码

mysql -h 127.0.0.1 -u root -p

 

验证数据库是否完整。

 

show databases;

image

 

注:此教程和阿里云上面的教程有些不同

1.  阿里云上面有删除mysql系统库并重装mysql系统库的过程,此处没有。本人按照阿里云的方法重装系统库时有报错。

删除mysql系统库

rm -rf mysql

重装 MySQL 系统库,取得数据库的 root 权限。

mysql_install_db --user=mysql --datadir=/home/mysql/


2. 数据库登录。阿里云mysql -uroot -p。而此处选择mysql -h 127.0.0.1 -uroot -p

 

 

方法二:

此方法参考了网上的教程,亲测可用,此方法前提条件是只需要安装mysql5.6版本

前提条件

在进行RDS本地恢复数据之前,我们需要先在本地服务器上安装mysql的5.6版本,因为RDS是5.6版本,所以我们本地的mysql数据库要与RDS版本对应。

1
rpm  - ivh http: / / repo.mysql.com / mysql - community - release - el6 - 5.noarch .rpm && yum  - y install mysql - server mysql


 

RDS备份文件下载完毕后并上传本地服务器,我们需要对其进行解压。按照阿里云官方文档,我们需要下载阿里云专门的脚本进行解压,而且必须是在linux OS 64bit上使用。


必须说明:RDS的备份文件只能在linux OS上进行的。在windows OS上使用第三方软件解压的话,你会发现看不到任何的文件。


下载RDS解压脚本,使用如下命令:

wget 

 

使用RDS解压脚本,解压RDS备份文件,如下:

1
sh rds_backup_extract.sh  - / root / hins2230233_data_20170331110337.tar.gz  - / home / mysql

 

检查解压后文件包含的数据库是否正确。蓝色部分都是我公司所用数据库。

image

 

 

切换到/home/mysql目录并修改文件属主

cd /home/mysql 

chown -R mysql:mysql /home/mysql/


自建mysql配置文件,内容如下:

vim /etc/my.cnf

1
2
3
4
5
6
7
8
9
10
[mysqld]
datadir  =  / home / mysql
port  =  3306
server_id  =  1
socket  =  / home / mysql / mysqld.sock
max_allowed_packet = 32M
[mysqld_safe]   
pid - file = / home / mysql / mysqld.pid    
log - error  =  / home / mysql / error.log
default - storage - engine = INNODB

 

启动mysql并操作

mysqld_safe &

image

 

通过上图,我们可以很明显的看出mysql已经正常启动。现在我们再来测试,是否可以正常连接mysql。如下:

mysql -h 127.0.0.1 -u root -p

image

 

遇到的问题: 我登录数据库之后,执行正常的sql语句,提示错误。

GRANT all privileges on *.* to 'steven'@'%'IDENTIFIED by '123456';

[Err] 1558 - Column count of mysql.user is wrong. Expected43, found 42. Created with MySQL 50518, now running 50636. Please usemysql_upgrade to fix this error.


解决方法: mysql_upgrade mysql -h 127.0.0.1 -u root –p

wKiom1j3NDTDFqYsAADsB-Qm2cU958.jpg-wh_50



结束,此时你可以随便操作数据库。


本文转自pizibaidu 51CTO博客,原文链接:http://blog.51cto.com/pizibaidu/1916016,如需转载请自行联系原作者

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
打赏
0
0
0
0
69
分享
相关文章
在Linux环境下备份Docker中的MySQL数据并传输到其他服务器以实现数据级别的容灾
以上就是在Linux环境下备份Docker中的MySQL数据并传输到其他服务器以实现数据级别的容灾的步骤。这个过程就像是一场接力赛,数据从MySQL数据库中接力棒一样传递到备份文件,再从备份文件传递到其他服务器,最后再传递回MySQL数据库。这样,即使在灾难发生时,我们也可以快速恢复数据,保证业务的正常运行。
58 28
【YashanDB知识库】MySQL迁移至崖山char类型数据自动补空格问题
**简介**:在MySQL迁移到崖山环境时,若字段类型为char(2),而应用存储的数据仅为'0'或'1',查询时崖山会自动补空格。原因是mysql的sql_mode可能启用了PAD_CHAR_TO_FULL_LENGTH模式,导致保留CHAR类型尾随空格。解决方法是与应用确认数据需求,可将崖山环境中的char类型改为varchar类型以规避补空格问题,适用于所有版本。
【YashanDB知识库】Kettle迁移MySQL到YashanDB
本文介绍了使用Kettle将MySQL数据库中的中文数据迁移到YashanDB的方法,解决因YMP不支持Latin1字符集导致的乱码问题。提供了Windows和Linux两种环境下的操作步骤,包括配置JAVA环境、解压作业包、设置数据库连接(MySQLInput与YashanOutput)、修改表列表配置文件及运行迁移任务。Windows环境支持图形界面便于调试,Linux环境网络性能更优。通过详细的操作指南,确保数据迁移成功并可重试无冲突。
【YashanDB知识库】YMP从mysql迁移到崖山,报错:服务器错误
【YashanDB知识库】YMP从mysql迁移到崖山,报错:服务器错误
【YashanDB知识库】字符集latin1的MySQL中文数据如何迁移到YashanDB
本文探讨了在使用YMP 23.2.1.3迁移MySQL Server字符集为latin1的中文数据至YashanDB时出现乱码的问题。问题根源在于MySQL latin1字符集存放的是实际utf8编码的数据,而YMP尚未支持此类场景。文章提供了两种解决方法:一是通过DBeaver直接迁移表数据;二是将MySQL表数据转换为Insert语句后手动插入YashanDB。同时指出,这两种方法适合单张表迁移,多表迁移可能存在兼容性问题,建议对问题表单独处理。
【YashanDB知识库】字符集latin1的MySQL中文数据如何迁移到YashanDB
【YashanDB知识库】YMP从mysql迁移到崖山,报错:服务器错误
【YashanDB知识库】YMP从mysql迁移到崖山,报错:服务器错误
【YashanDB知识库】YMP从mysql迁移到崖山,报错:服务器错误
Redis和Mysql如何保证数据⼀致?
1. 先更新Mysql,再更新Redis,如果更新Redis失败,可能仍然不⼀致 2. 先删除Redis缓存数据,再更新Mysql,再次查询的时候在将数据添加到缓存中 这种⽅案能解决1 ⽅案的问题,但是在⾼并发下性能较低,⽽且仍然会出现数据不⼀致的问题,⽐如线程1删除了 Redis缓存数据,正在更新Mysql,此时另外⼀个查询再查询,那么就会把Mysql中⽼数据⼜查到 Redis中 1. 使用MQ异步同步, 保证数据的最终一致性 我们项目中会根据业务情况 , 使用不同的方案来解决Redis和Mysql的一致性问题 : 1. 对于一些一致性要求不高的场景 , 不做处理例如 : 用户行为数据 ,
使用崖山YMP 迁移 Oracle/MySQL 至YashanDB 23.2 验证测试
这篇文章是作者尚雷关于使用崖山YMP迁移Oracle/MySQL至YashanDB 23.2的验证测试分享。介绍了YMP的产品信息,包括架构、版本支持等,还详细阐述了外置库部署、YMP部署、访问YMP、数据源管理、任务管理(创建任务、迁移配置、离线迁移、校验初始化、一致性校验)及MySQL迁移的全过程。
MySQL生产环境迁移至YashanDB数据库深度体验
这篇文章是作者将 MySQL 生产环境迁移至 YashanDB 数据库的深度体验。介绍了 YashanDB 迁移平台 YMP 的产品相关信息、安装步骤、迁移中遇到的各种兼容问题及解决方案,最后总结了迁移体验,包括工具部署和操作特点,也指出功能有优化空间及暂不支持的部分,期待其不断优化。
基于SQL Server / MySQL进行百万条数据过滤优化方案
对百万级别数据进行高效过滤查询,需要综合使用索引、查询优化、表分区、统计信息和视图等技术手段。通过合理的数据库设计和查询优化,可以显著提升查询性能,确保系统的高效稳定运行。
76 9