pt-archiver归档工具的使用详解

本文涉及的产品
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介:

之前的percona-toolkit工具集的使用博文里面也写到pt-archiver这个工具的用法,但是不够深入全面。这里补充完善下。


注意:pt-archiver操作的表必须有主键。

 

查看帮助: perldoc  pt-archiver

 

Specify at least one of "--dest","--file", or "--purge".

下面几个参数都是互斥的,只能选其一

    "--ignore"and "--replace" are mutually exclusive. 

    "--txn-size"and "--commit-each" are mutually exclusive.

    "--low-priority-insert"and "--delayed-insert" are mutually exclusive.

    "--share-lock"and "--for-update" are mutually exclusive.

    "--analyze"and "--optimize" are mutually exclusive.

    "--no-ascend"and "--no-delete" are mutually exclusive.

 

常用的参数:

    --limit10000       每次取1000行数据用pt-archive处理,Number of rows to fetch and archive per statement.

    --txn-size  1000   设置1000行为一个事务提交一次,Number of rows pertransaction.

    --where'id<3000'   设置操作条件

    --progress5000     每处理5000行输出一次处理信息

    --statistics       输出执行过程及最后的操作统计。(只要不加上--quiet,默认情况下pt-archive都会输出执行过程的)

    --charset=UTF8     指定字符集为UTF8

    --bulk-delete      批量删除source上的旧数据(例如每次1000行的批量删除操作)

    --bulk-insert      批量插入数据到dest主机 (destgeneral log发现它是通过在dest主机上LOAD DATA LOCAL INFILE插入数据的)

    --replace          insert into 语句改成replace写入到dest

    --sleep120         每次归档了limit个行记录后的休眠120秒(单位为秒)

    --file'/root/test.txt'

    --purge             删除source数据库的相关匹配记录

    --header            输入列名称到首行(和--file一起使用)

    --no-check-charset  不指定字符集

    --check-columns    检验destsource的表结构是否一致,不一致自动拒绝执行(不加这个参数也行。默认就是执行检查的)

    --no-check-columns    不检验destsource的表结构是否一致,不一致也执行(会导致dest上的无法与source匹配的列值被置为null或者0

    --chekc-interval      默认1s检查一次

    --local            不把optimizeanalyze操作写入到binlog里面(防止造成主从延迟巨大)

    --retries         超时或者出现死锁的话,pt-archiver进行重试的间隔(默认1s

    --no-version-check   目前为止,发现部分pt工具对阿里云RDS操作必须加这个参数

    --analyze=ds      操作结束后,优化表空间(d表示dests表示source

    默认情况下,pt-archiver操作结束后,不会对sourcedest表执行analyzeoptimize操作,因为这种操作费时间,并且需要你提前预估有足够的磁盘空间用于拷贝表。一般建议也是pt-archiver操作结束后,在业务低谷手动执行analyze table用以回收表空间。

 

 

pt-archiverBug不会迁移max(id)那条数据的解决方法:

    参考:http://www.ttlsa.com/mysql/pt-archiver-bug-cannot-migration-max-id-record/

   vim/usr/bin/pt-archiver +6285  ,如下:

    修改前: $first_sql .= " AND ($col < " . $q->quote_val($val) . ")";

    修改后: $first_sql .= " AND ($col <= " . $q->quote_val($val) .")";

 

 

删除老数据(单独的删数据操作不用指定字符集)

/usr/bin/pt-archiver \

--source h=localhost,u=root,p=1234,P=3306,D=test,t=t \

--no-check-charset --where 'a<=376' --limit 10000 --txn-size 1000 --purge

 

复制数据到其他mysql实例,且不删除source的数据(指定字符集)

/usr/bin/pt-archiver \

--source h=localhost,u=root,p=1234,P=3306,D=test,t=t1\

--dest h=192.168.2.12,P=3306,u=archiver,p=archiver,D=test,t=t1_bak \

--progress 5000 --where 'mc_id<=125' \

--statistics --charset=UTF8 --limit=10000 --txn-size 1000 --no-delete

 

复制数据到其他mysql实例,并删source上的旧数据(指定字符集)

/usr/bin/pt-archiver \

--source h=localhost,u=root,p=1234,P=3306,D=test,t=t1 \

--dest h=192.168.2.12,P=3306,u=archiver,p=archiver,D=test,t=t1_his \

--progress 5000 --where "CreateDate <'2017-05-01 00:00:00' " \

--statistics --charset=UTF8 --limit=10000 --txn-size 1000 --bulk-delete

### 官方文档说明:The normal method isto delete every row by its primary key. Bulk deletes might be a lot faster.They also

mightnot be faster if you have a complex WHERE clause.

 

复制数据到其他mysql实例,不删除source数据,但是使用批量插入dest上新的数据(指定字符集)

/usr/bin/pt-archiver \

--source h=localhost,u=archiver,p=archiver,P=3306,D=test,t=t1 \

--dest h=192.168.2.12,P=3306,u=archiver,p=archiver,D=test,t=t1_his \

--progress 5000 --where "c <'2017-05-01 00:00:00' " \

--statistics --charset=UTF8 --limit=10000 --txn-size 1000 --no-delete  --bulk-insert

### 测试用的一张只有3列元素的表,共计9万行数据。使用bulk-insert用时7秒钟。而常规insert用时40秒。

 

导出数据到文件:

/usr/bin/pt-archiver \

--source h=10.0.20.26,u=root,p=1234,P=3306,D=test,t=t \

--file '/root/test.txt' \

--progress 5000 --where 'a<12000' \

--no-delete --statistics --charset=UTF8 --limit=10000 --txn-size 1000


导出数据到文件并删除数据库的相关行:

/usr/bin/pt-archiver \

--source h=10.0.20.26,u=root,p=1234,P=3306,D=test,t=t \

--file '/root/test.txt' \

--progress 5000 --where 'a<12000' \

--statistics --charset=UTF8 --limit=10000 --txn-size 1000 --purge











本文转自 lirulei90 51CTO博客,原文链接:http://blog.51cto.com/lee90/1947357,如需转载请自行联系原作者
相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
1月前
ApacheHudi Archive(归档)实现分析
ApacheHudi Archive(归档)实现分析
22 0
|
SQL 关系型数据库 MySQL
pt-tools系列:pt-online-schema-change 最佳实践
pt的详细步骤 Step 1: Create the new table. Step 2: Alter the new, empty table. This should be very quick, or die if the user specified a bad alter statement.
4589 0
|
存储 关系型数据库 MySQL
|
SQL 运维 前端开发
【MySQL】pt-online-schema-change 工具使用
在运维mysql数据库时,我们总会对数据表进行ddl 变更,修改添加字段或者索引,对于mysql 而已,ddl 显然是一个令所有MySQL dba 诟病的一个功能,因为在MySQL中在对表进行ddl时,会锁表,当表比较小比如小于1w上时,对前端影响较小,当时遇到千万级别的表 就会影响前端应用对表的写操作。
277 0
|
关系型数据库 MySQL OLTP
使用pt-archiver工具进行MySQL数据库迁移
pt-archiver是Percona-Toolkit工具集中的一个组件,可以用于对MySQL表数据进行归档和清除。
631 0
使用pt-archiver工具进行MySQL数据库迁移
|
监控 关系型数据库 MySQL
pt-tools系列:xtrabackup最佳实践
安装xtrabackup 下载2.4版本即可 运行报错 /data/Keithlan/pt_backup/bin/innobackupex: /usr/lib64/libstdc++.so.6: version `GLIBCXX_3.
2574 0
|
运维 监控 关系型数据库
MySQL数据归档实战-Python和pt-archiver的强强结合
一、引言 前段时间,在优雅的使用pt-archiver进行数据归档一文中介绍了pt-archiver的使用方法,也将pt-archiver部署到了生产环境,这时候问题来了~ 生产环境需要做归档的任务有十几个,如果要知道每个归档任务成功与否、跑了多长时间、归档了多少数据,就得手工逐个查看日志,非.
15972 0
|
监控 关系型数据库 MySQL
优雅地使用pt-archiver进行数据归档
一、引言 最近由于业务需求,需要将公有云RDS(业务库)的大表数据归档至私有云MySQL(历史库),以缩减公有云RDS的体积和成本。 那么问题来了,数据归档的方式有n种,选择哪种呢?经过一番折腾,发现使用percona的pt-archiver就可以轻松并优雅地对MySQL进行数据归档。
10051 0
[20171218]修改AWR snapshot 设置.txt
[20171218]Modifying AWR snapshot settings.txt SYS@book> select * from dba_hist_wr_control;       DBID SNAP_INTERVAL     RETENTION   ...
920 0
truncate后恢复包---FY_Recover_Data.pck 包的内容
truncate后恢复包---FY_Recover_Data.pck 包的内容                                                 ...
1470 0