MySQL 5.6 Online DDL异常分析

本文涉及的产品
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介:

0、导读

MySQL 5.6里,按理说是可以支持Online DDL的,为啥在给一个表增加字段/增加索引时,却把该表上的DML给阻塞了呢?

1、问题

我的朋友小明,在使用Percona 5.6.30版本,想要对一个表增加辅助索引,想着MySQL 5.6版本的Online DDL功能应该比较强大了,不会有啥问题吧,就放心的提交 DDL 命令了,结果悲剧了,后续的 DML 都被阻塞了,看下现场:

640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=
图1

小明当时就懵逼了,不是说MySQL 5.6里,增加字段/增加索引的DDL是可以Online的吗,为毛他提交的DDL就把DML给阻塞了呢。无奈之中小明又找到我来求助了~

2、排查

看了上面的 图.1,不知道各位看官有没有觉得哪里不对劲呢?先按下不表。

在MySQL 5.6中,提交DDL命令后,正常的话,该线程状态应该是altering table 、committing alter table to storage engine 这样的才对,为啥是 copy to tmp table 呢,说明这个 DDL 不是IN-PLACE的。

我们先看下这三种状态分别怎么解释的:

  • altering table

The server is in the process of executing an in-place ALTER TABLE.

  • committing alter table to storage engine

The server has finished an in-place ALTER TABLE and is committing the result.

  • copy to tmp table

The thread is processing an ALTER TABLE statement. This state occurs after the table with the new structure has been created but before rows are copied into it.

光看线程状态解释好像还是不甚明了,于是让小明干脆在测试环境再尝试模拟增加索引,然后查看线程状态,还是 copy to tmp table。不过测试表数据量比较大,增加索引过程比较久,小明没啥耐心,就按了CTRL-C 把 DDL 命令给终止了,然后终端提示下面的信息:

640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=
图2

咦,好像疑点更多了。

我问小明这个实例是怎么来的,是不是从旧版本数据文件直接拷贝过来用的。经提醒,小明才道出这个实例的数据库文件原来是在MariaDB 5.5环境下运行的,后来直接升级到MariaDB 10.0,再后来为了兼容 GTID 问题(MariaDB和官方 GTID 不兼容这点是挺麻烦的),所以把版本切换成 Percona 5.6.30。

现在终于明白了,原来是因为旧版本的数据文件中,存在着 TIME、DATETIME、TIMESTAMP 数据类型,从MySQL 5.6开始,这几个数据类型底层存储格式发生了变化(增加了对毫秒的支持)。

所以,MySQL发现该表中,存在旧格式的 DATETIME 列,就需要强制进行升级,也就没办法执行 IN-PLACE 的 DDL 了,才有了后面的 DML 锁等待。

关于从旧版本升级到MySQL 5.6及以上,几个注意事项请查阅官方文档说明:

  • http://dev.mysql.com/doc/refman/5.6/en/checking-table-incompatibilities.html

  • http://dev.mysql.com/doc/refman/5.6/en/upgrading-from-previous-series.html


回过头来再说上面提到的 copy to tmp table 状态,就是要因为需要升级数据结构,所以需要重建整张表。

3、解决

问题找到了,解决问题的办法也得想到才行呀。方法有三,暴力的 和 非暴力的。

先说下暴力的吧,其实和本例差不多,就是强制执行一次DDL,让表结构升级下,这个过程是不支持 IN-PLACE 的,必须重建整张表。比如官方推荐的方法之一:

ALTER TABLE tbl_name FORCE;

还有一种就是用 mysqldump 把数据从旧版本中备份出来,再在新版本环境中导入加载,效率和第一种不相上下。

再说下非暴力的,这是从MySQL 5.6.24才引入的功能,新增了一个 avoid_temporal_upgrade 选项,其作用是让我们能选择是否强制升级表结构,看看该选项的描述:

This variable controls whether ALTER TABLE implicitly upgrades temporal columns found to be in pre-5.6.4 format (TIME, DATETIME, and TIMESTAMP columns without support for fractional seconds precision). Upgrading such columns requires a table rebuild, which prevents any use of fast alterations that might otherwise apply to the operation to be performed.


This variable is disabled by default. Enabling it causes ALTER TABLE not to rebuild temporal columns and thereby be able to take advantage of possible fast alterations.


This variable was added in MySQL 5.6.24. It is deprecated and will be removed in a future MySQL release.



文章转自老叶茶馆公众号,原文链接:https://mp.weixin.qq.com/s/2CpIx_4tC27g6er-JaC4ZQ

相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
3月前
|
SQL 存储 关系型数据库
【MySQL】如何通过DDL去创建和修改员工信息表
【MySQL】如何通过DDL去创建和修改员工信息表
40 1
|
3月前
|
SQL 关系型数据库 MySQL
学习MySQL中DDL语句的修改字段与删除字段,删除表
学习MySQL中DDL语句的修改字段与删除字段,删除表
|
5月前
|
SQL 关系型数据库 MySQL
【MySQL入门到精通-黑马程序员】MySQL基础篇-SQL概述及DDL
(精度指数的所有位数;标度指小数点后数的位数) 字符串类型
59 0
|
5月前
|
SQL 关系型数据库 MySQL
MySQL基本SQL语句1(DDL)
SQL(Structured Query Language)结构化查询语言,用于存取,查询,更新数据以及管理关系型数据库系统SQL指令分为四类DDL Data Defintion language 数据库定义语言 用于完成对数据库对象(数据表,数据库,视图,索引)的创建,删除,修改 DML Data Manipulation language 数据操作语言 用于完成对数据表中的数据添加,删除,修改 DQL
46 0
|
1月前
|
SQL 存储 关系型数据库
【MySQL 数据库】1、MySQL 的 DDL、DML、DQL 语句
【MySQL 数据库】1、MySQL 的 DDL、DML、DQL 语句
49 0
|
3月前
|
SQL 关系型数据库 MySQL
MySQL数据库——DDL基本操作
MySQL数据库——DDL基本操作
|
3月前
|
SQL 关系型数据库 MySQL
MySQL操作数据表(DDL语句)
MySQL操作数据表(DDL语句)
41 1
|
3月前
|
SQL 关系型数据库 MySQL
MySQL操作数据库(DDL语句)
MySQL操作数据库(DDL语句)
37 1
|
4月前
|
SQL 存储 关系型数据库
Mysql数据库 1.SQL语言分类 DDL.数据定义语言
Mysql数据库 1.SQL语言分类 DDL.数据定义语言
70 0
|
6月前
|
SQL 关系型数据库 MySQL
MySQL知识【DDL:操作数据库&DDL:操作表】第四章(下)
MySQL知识【DDL:操作数据库&DDL:操作表】第四章