物理备份xtrabackup的使用

本文涉及的产品
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介: 简介: Xtrabackup是percona公司的一个开源项目,用于InnoDB和MyISAM的热备份。是商业备份工具InnoDB Hot Backup的一个很好的替代品。

简介:

Xtrabackup是percona公司的一个开源项目,用于InnoDB和MyISAM的热备份。是商业备份工具InnoDB Hot Backup的一个很好的替代品。

Xtrabackup能够非常快速地备份与恢复mysql数据库,其速度大概是mysqldump的10-20倍。

Xtrabackup有两个主要的工具:xtrabackup、innobackupex

   (1)xtrabackup只能备份InnoDB和XtraDB两种数据表,而不能备份MyISAM数据表
  (2)innobackupex-1.5.1则封装了xtrabackup,是一个脚本封装,所以能同时备份处理innodb和myisam,但在处理myisam时需要加一个读锁。

Xtrabackup支持全量备份和增量备份。不过进行增量备份的时候要注意表结构不能有改动。

Xtrabackup备份原理:

 XtraBackup基于InnoDB的crash-recovery功能。它会复制innodb的data file,由于不锁表,复制出来的数据是不一致的,在恢复的时候使用crash-recovery,使得数据恢复一致。InnoDB维护了一个redo log,又称为transaction log,事务日志,它包含了innodb数据的所有改动情况。当InnoDB启动的时候,它会先去检查data file和transaction log,并且会做二步操作:XtraBackup在备份的时候, 一页一页地复制innodb的数据,而且不锁定表,与此同时,XtraBackup还有另外一个线程监视着transactions log,一旦log发生变化,就把变化过的log pages复制走。为什么要急着复制走呢? 因为transactions log文件大小有限,写满之后,就会从头再开始写,所以新数据可能会覆盖到旧的数据。在prepare过程中,XtraBackup使用复制到的transactions log对备份出来的innodb data file进行crash recovery。
实现细节
  XtraBackup以read-write模式打开innodb的数据文件,然后对其进行复制。其实它不会修改此文件。也就是说,运行XtraBackup的用户,必须对innodb的数据文件具有读写权限。之所以采用read-write模式是因为XtraBackup采用了其内置的innodb库来打开文件,而innodb库打开文件的时候就是rw的。XtraBackup要从文件系统中复制大量的数据,所以它尽可能地使用posix_fadvise(),来告诉OS不要缓存读取到的数据,从而提升性能。因为这些数据不会重用到了,OS却没有这么聪明。如果要缓存一下的话,几个G的数据,会对OS的虚拟内存造成很大的压力,其它进程,比如mysqld很有可能被swap出去,这样系统就会受到很大影响了。在备份innodb page的过程中,XtraBackup每次读写1MB的数据,1MB/16KB=64个page。这个不可配置。读1MB数据之后,XtraBackup一页一页地遍历这1MB数据,使用innodb的buf_page_is_corrupted()函数检查此页的数据是否正常,如果数据不正常,就重新读取这一页,最多重新读取10次,如果还是失败,备份就失败了,退出。在复制transactions log的时候,每次读写512KB的数据。同样不可以配置。

增量备份原理

MySQL数据库本身提供的工具并不支持真正的增量备份,二进制日志恢复是point-in-time(时间点)的恢复而不是增量备份。Xtrabackup工具支持对InnoDB存储引擎的增量备份,工作原理如下:
  (1)首先完成一个完全备份,并记录下此时检查点的LSN(Log Sequence Number)。
  (2)在进程增量备份时,比较表空间中每个页的LSN是否大于上次备份时的LSN,如果是,则备份该页,同时记录当前检查点的LSN。
  首先,在logfile中找到并记录最后一个checkpoint(“last checkpoint LSN”),然后开始从LSN的位置开始拷贝InnoDB的logfile到xtrabackup_logfile;接着,开始拷贝全部的数据文件.ibd;在拷贝全部数据文件结束之后,才停止拷贝logfile。
  因为logfile里面记录全部的数据修改情况,所以,即时在备份过程中数据文件被修改过了,恢复时仍然能够通过解析xtrabackup_logfile保持数据的一致。

安装:

1.去官网下载

   http://www.percona.com/software/percona-xtrabackup

2.安装依赖包

   yum install cmake gcc gcc-c++ libaio libaio-devel automake autoconf bison libtool ncurses-devel zlib-devel perl-Time-HiRes
   rpm -Uvh http://dl.fedoraproject.org/pub/epel/5/i386/epel-release-5-4.noarch.rpm
   yum install bzr
3.编译安装:

   tar xvzf percona-xtrabackup-2.0.8.tar.gz
   cd /root/percona-xtrabackup-2.0.8/
   AUTO_DOWNLOAD="yes" ./utils/build.sh innodb55

   cp innobackupex /usr/bin/

   cp xtrabackup_55 /usr/bin

   mv /usr/bin/xtrabackup_55 /usr/bin/xtrabackup

4.建立专用的my.cnf

  若服务器上打开了多个实例,则xtrabackup不能正确识别,需要建立专用的my.cnf,去掉mysqld_multi选项。

5.建立备份账号

  #GRANT RELOAD, LOCK TABLES, REPLICATION CLIENT ON *.* TO ’bkpuser’@’localhost’;

备份与恢复:

全量备份:
#innobackupex --user=backup_user --password=xxx  --socket=/dbdata/mysqldata/3306/mysql.sock --defaults-file=/data/bak/3306.cnf   /data/bak/3306

这个defaults-file就是咱们建立的专用的my.cnf,带mysqld_multi的my.cnf是不能被Xtrabackup正确识别的。后面的/data/bak/3306就是我们存放备份的目录。

全量恢复:

1)停掉MySQL数据库。

#service mysqld stop

2)删除数据库中的数据文件和事务日志文件:data  innodb_log  innodb_ts这3个目录都需要删除

3)将备份文件中的日志应用到备份文件中的数据文件上

#innobackupex --defaults-file=/data/bak/3306.cnf --apply-log /data0/2014-06-12_06-00-08

4)将备份文件中的数据恢复到数据库中

#innobackupex --defaults-file=/data/bak/3306.cnf --copy-back /data0/2014-06-12_06-00-08

5)修改数据库目录的权限

#chown mysql:mysql /data/mysqldata/3306

6)启动数据库

$service mysqld start

增量备份:

增量备份的前提是必须坐过全量备份。

1)先进行全量备份

#innobackupex --user=backup_user --password=xxx  --socket=/dbdata/mysqldata/3306/mysql.sock --defaults-file=/data/bak/3306.cnf   /data/bak/3306

2)再进行增量备份

#innobackupex --user=backup_user --password=xxx  --socket=/dbdata/mysqldata/3306/mysql.sock --defaults-file=/data/bak/3306.cnf   --incremental /data/bak/3306 --incremental-basedir=/data/bak/3306/2014-06-13_06-00-08

增量恢复:

1)先恢复增量事务日志,然后再按照全量恢复的命令操作即可

#innobackupex --user=backup_user --password=xxx  --socket=/dbdata/mysqldata/3306/mysql.sock --apply-log --redo-only /data0/2014-06-12_06-00-08  --incremental-basedir=/data/bak/3306/2014-06-13_06-00-08

自动化脚本:

自动化全量恢复:

命令格式:

        sh -x /root/xtrabackup__auto_restore.sh   3314   /data0/3314.cnf   /data0/data0/bak/dbserver_mysql_xtrabackup_bk/3314/2015-07-08_05-05-08   10.71.64.63

使用注意事项:

1.先拷贝tar.gz和cnf文件到/data0目录,再解压缩压缩包。

2.看到屏幕提示'请编辑/etc/my.cnf文件,然后启动相应端口'时,编辑my.cnf中相应的参数并启动实例。

3.执行完脚本,确认无问题后,请手工删除${DATE}_bak目录


点击(此处)折叠或打开

#!/bin/bash
#这个脚本的功能是自动化恢复指定端口的全备份
#Written by LiHui
#Version 1.0
#Data:2015-07-09
PORT=$1
CNF_DIR=$2
XTRABACKUP_DIR=$3
MASTER_HOST=$4
MASTER_LOG_FILE=`cat ${XTRABACKUP_DIR}/xtrabackup_binlog_info |awk -F " " '{print $1}'`
MASTER_LOG_POS=`cat ${XTRABACKUP_DIR}/xtrabackup_binlog_info |awk -F " " '{print $2}'`
DATE=`date +%Y_%m_%d`
 
 
cd /data0/mysqldata/$PORT/
mkdir ${DATE}_bak
mv data innodb_log innodb_ts -t ${DATE}_bak
mkdir data innodb_log innodb_ts
innobackupex --defaults-file=$CNF_DIR --apply-log $XTRABACKUP_DIR
innobackupex --defaults-file=$CNF_DIR --copy-back $XTRABACKUP_DIR
chown -R mysql:mysql /data0/mysqldata/$PORT
echo '请编辑/etc/my.cnf文件,然后启动相应端口'
echo '请输入主库的密码:'
read password
mysql -uroot -p$password -S /data0/mysqldata/$PORT/mysql.sock -e "change master to master_host='$MASTER_HOST', master_user='rep', master_password='F0PEAPLWg96awvNi_V1r', master_port=$PORT, master_log_file='$MASTER_LOG_FILE', master_log_pos=$MASTER_LOG_POS, master_connect_retry=1;"
mysql -uroot -p$password -S /data0/mysqldata/$PORT/mysql.sock -e 'start slave;'
mysql -uroot -p$password -S /data0/mysqldata/$PORT/mysql.sock -e 'show slave status \G'
echo "请手工删除${DATE}_bak目录!"



参考资料:

1.http://www.mike.org.cn/articles/xtrabackup-guide/

2.http://database.51cto.com/art/201108/283254.htm

3.《MySQL管理之道》 贺春漾 著

相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
4月前
|
关系型数据库 数据库 PostgreSQL
postgresql|【基于pg_basebackup命令的归档备份和恢复---热备冷恢复方式】
postgresql|【基于pg_basebackup命令的归档备份和恢复---热备冷恢复方式】
49 0
|
9天前
|
关系型数据库 MySQL 数据库
用XtraBackup 备份
用XtraBackup 备份
21 0
|
存储 容灾 关系型数据库
7 PostgreSQL 物理备份和还原,逻辑备份和还原|学习笔记
快速学习7 PostgreSQL 物理备份和还原,逻辑备份和还原
972 0
7 PostgreSQL 物理备份和还原,逻辑备份和还原|学习笔记
xtrabackup 增量,全备份,恢复备份
mysql5x 版本对应xrtabackup2.4
154 0
|
监控 关系型数据库 MySQL
XtraBackup物理备份 阿里云的Mysql备份方式
 XtraBackup物理备份 阿里云的Mysql备份方式 XtraBackup物理备份 Percona XtraBackup是世界上唯一的开源,免费的MySQL热备份软件,为InnoDB和XtraDB 数据库执行非阻塞备份。
2155 0
|
关系型数据库 MySQL
使用Xtrabackup完整备份中恢复单表
MySQL目前采取的备份策略都是xtrabackup全备+binlog备份,如果当某天某张表意外的删除,那么如何快速从xtrabackup全备中恢复单表呢?从MySQL 5.6版本开始,支持可传输表空间(Transportable Tablespace),那么利用这个功能就可以实现单表的恢复,同样利用这个功能还可以把innodb表移动到另外一台服务器上。
4420 0
|
网络协议 关系型数据库 MySQL
Xtrabackup实现数据的备份与恢复
目录 Xtrabackup实现数据的备份与恢复 Xtrabackup介绍 Xtrabackup优点 Xtrabackup备份原理 Xtrabackup增量备份介绍 Xtrabackup安装 创建测试数据 ...
1214 0
|
监控 关系型数据库 MySQL