MySQL 8.0 主从复制性能提升

本文涉及的产品
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介: MySQL的并行复制,从5.6开始,经过几代的改进,终于在性能上有了不小的提升。 * MySQL 5.6 该版本开始提供并行复制功能,但是5.6的并行复制是schema级别的,所以只有binlog的row event操作的是不同的schema对象,且没有DDL和Foreign Key依赖的情况下,才能实现并行复制。由于单schema的情况实际上是很常见的,所以这并不是真正意义上的并行复制。

MySQL的并行复制,从5.6开始,经过几代的改进,终于在性能上有了不小的提升。

  • MySQL 5.6
    该版本开始提供并行复制功能,但是5.6的并行复制是schema级别的,所以只有binlog的row event操作的是不同的schema对象,且没有DDL和Foreign Key依赖的情况下,才能实现并行复制。由于单schema的情况实际上是很常见的,所以这并不是真正意义上的并行复制。

image.png
如上图所示,5.6的并行复制由Coordinator判断event的schema,并把不同schema的event提交到不同的worker上实现并行复制。

  • MySQL 5.7
    开始,并行复制使用了“组提交(Group Commit)”的方法实现,即是说5.7的并行复制打破了5.6并行复制不能在单个schema的限制,5.7可以基于主库上事务的提交顺序,在从库上回放。也就是说,如果两个事务不会相互影响,在主库可以同时提交刷盘,从库复制时也就可以同时提交。通过设置binlog_group_commit_sync_delay参数,可以延长主库commit时日志刷盘前等待的时间(会影响主库写入性能),从而使更多不会冲突的事务可以作为组提交,从而提高从库的复制效率。虽然5.7的这种方式算得上是真正的并行复制了,但是由于依赖主库上并行,从库才能并行,假如主库上并发不高,从库上就只能“线性”复制了。

image.png

  • MySQL 8.0
    MySQL 8.0新增参数binlog_transaction_dependency_tracking,可以配置为基于5.7的并行复制COMMIT_ORDER,并较5.7新添加了WRITESET或WRITESET_SESSION模式(WRITESET跟WRITESET_SESSION的区别就是,WRITESET_SESSION 需要保证同一个会话内的事务的先后顺序),即事务在提交时,会影响的行的主键、唯一键、外键等信息以 HASH(DB名,TABLE名,KEY名称,KEY_VALUE1, KEY_VALUE2,.....) 加入到当前事务的 WRITESET中,在复制之前,只需要检测WRITESET是否有并集,即可知道事务是否可以并行回放。

如图,在主库的并发情况如下时
image.png
在WRITESET开启后,备库的复制将会如下图的方式并行执行
image.png

  • 性能对比(COMMIT_ORDER & WRITESET & WRITESET_SESSION)
    首先准备3对主从复制的副本集,binlog_transaction_dependency_tracking分别配置为COMMIT_ORDER、WRITESET、WRITESET_SESSION。

使用sysbench的oltp并发操作数据库的主库:

mysqladmin create sbtest
sysbench --mysql-host=127.0.0.1 --mysql-port=3306 --mysql-user=root --mysql-password= \
 --test=/usr/share/sysbench/tests/include/oltp_legacy/oltp.lua --oltp_tables_count=2 --oltp-table-size=10000000 --rand-init=on prepare
 
sysbench --mysql-host=127.0.0.1 --mysql-port=3306 --mysql-user=root --mysql-password= \
--test=/usr/share/sysbench/tests/include/oltp_legacy/oltp.lua --oltp_tables_count=2 \
--oltp-table-size=10000000 --num-threads=100 --oltp-read-only=off \
--report-interval=10 --rand-type=uniform --max-time=120 \
 --max-requests=0 --percentile=99 run

同时使用mysqladmin分别在主库、从库执行,可以看到主库、从库上的并发和负载情况,下面的命令将会每隔1秒输出3列数据,分别为:正在执行请求数,当前连接数,正在运行线程数

(mysqladmin ext -i1 | awk '/Queries/{q=$4-qp;qp=$4}/Threads_connected/{tc=$4}/Threads_running/{printf "%5d %5d %5d\n", q, tc, $4}')

通过性能测试不难发现,MySQL 8.0 WRITESET_SESSION模式在单线程时和COMMIT_ORDER模式差距不大,但随着线程数增加,WRITESET_SESSION优势很明显,而WRITESET在线程较少时,性能上有了质的飞跃。但随着线程数的增加,各种方式性能趋近于相同。
image.png

MySQL 8.0 现已登陆 云数据库 RDS版,如有需要,可在阿里云控制台云购买使用!
(本文图片来源于网络)
参考文献:https://mysqlhighavailability.com/improving-the-parallel-applier-with-writeset-based-dependency-tracking/

相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
监控 关系型数据库 MySQL
|
2月前
|
SQL 存储 数据管理
阿里云视觉智能开放平台的逻辑数仓基于统一的SQL语法
【2月更文挑战第9天】阿里云视觉智能开放平台的逻辑数仓基于统一的SQL语法
51 2
|
3月前
|
存储 关系型数据库 MySQL
在阿里云的AnalyticDB MySQL版中使用CREATE TABLE语句来创建内表
在阿里云的AnalyticDB MySQL版中使用CREATE TABLE语句来创建内表【1月更文挑战第16天】【1月更文挑战第78篇】
206 3
|
4月前
|
关系型数据库 MySQL BI
用友畅捷通基于阿里云 EMR StarRocks 搭建实时湖仓实战分享
本文从用友畅捷通公司介绍及业务背景;数据仓库技术选型、实际案例及未来规划等方面,分享了用友畅捷通基于阿里云 EMR StarRocks 搭建实时湖仓的实战经验。
578 0
用友畅捷通基于阿里云 EMR StarRocks 搭建实时湖仓实战分享
|
4月前
电子好书发您分享《阿里云云原生一体化数仓新能力解读》
电子好书发您分享《阿里云云原生一体化数仓新能力解读》
261 2
|
1月前
|
分布式计算 关系型数据库 OLAP
阿里云AnalyticDB基于Flink CDC+Hudi实现多表全增量入湖实践
阿里云AnalyticDB基于Flink CDC+Hudi实现多表全增量入湖实践
64 0
|
4月前
|
SQL BI Apache
奇富科技基于阿里云数据库 SelectDB 版内核 Apache Doris 的统一 OLAP 场景探索实践
Apache Doris 作为整体 OLAP 场景,助力奇富科技信贷科技服务平台优化,使得报表分析场景 SLA 达标率提升至 99% 以上,平均查询耗时降低 50%,为营销活动、广告投放等提供强有力的数据支持。
奇富科技基于阿里云数据库 SelectDB 版内核 Apache Doris 的统一 OLAP 场景探索实践
|
4月前
电子好书发您分享《阿里云云原生一体化数仓新能力解读》
电子好书发您分享《阿里云云原生一体化数仓新能力解读》
74 1