DTS同步DDL的策略

简介:    DTS增量迁移/同步在同步源库的DML操作到目标库时是并发执行的,而同步DDL操作则是串行执行的,其主要过程如下: (1).解析ddl涉及到的库表列,如果该ddl涉及到的库表列都不在迁移或者同步列表中则过滤该ddl,否则执行该ddl; (2).
   DTS增量迁移/同步在同步源库的DML操作到目标库时是并发执行的,而同步DDL操作则是串行执行的,其主要过程如下:

(1).解析ddl涉及到的库表列,如果该ddl涉及到的库表列都不在迁移或者同步列表中则过滤该ddl,否则执行该ddl;
(2).根据目标库的类型及配置的库表列映射信息转换该ddl;
(3).串行执行该ddl(在执行该ddl之前先等待它之前的所有dml/ddl操作都执行完了,阻塞该ddl之后的所有dml/ddl操作);
(4).如果ddl在目标库执行失败则忽略该错误;
(5).ddl执行之后清空目标表结构信息缓存;

  从DDL的同步过程可以看出在DDL比较频繁的情况下会严重影响DTS的迁移/同步性能.在正常情况下,真正的线上业务其DDL操作不可能频繁的,但也不排除一些特殊情况,如果这种情况下的频繁DDL导致DTS的性能问题,就需要业务改造了.

一.常见场景


  1. (1).对同一张表频繁地create table if not exists `xxx`.`xxx`;
  2. (2).对同一张表频繁地create table  `xxx`.`xxx`;drop table  `xxx`.`xxx`;
  3. (3).频繁地truncate table  `xxx`.`xxx`;



目录
相关文章
|
1月前
|
存储 SQL NoSQL
数据传输DTS同步问题之同步失败如何解决
数据传输服务(DTS)是一项专注于数据迁移和同步的云服务,在使用过程中可能遇到多种问题,本合集精选常见的DTS数据传输问题及其答疑解惑,以助用户顺利实现数据流转。
|
3月前
|
NoSQL Redis 数据库
数据传输DTS中金融云跨账号同步Redis,增量校验报错了
【1月更文挑战第16天】【1月更文挑战第80篇】数据传输DTS中金融云跨账号同步Redis,增量校验报错了
64 1
|
4月前
|
弹性计算 关系型数据库 MySQL
数据传输DTS腾讯云上的mysql同步到阿里云上的mysql可以操作吗?
数据传输DTS腾讯云上的mysql同步到阿里云上的mysql可以操作吗?
238 0
|
7月前
|
canal
阿里云DTS同步binlog实战
阿里云DTS同步binlog实战
|
4月前
|
监控 关系型数据库 MySQL
数据传输DTS腾讯云上的mysql同步到阿里云上的mysql可以操作吗?
数据传输DTS腾讯云上的mysql同步到阿里云上的mysql可以操作吗?
222 0
|
1月前
|
监控 分布式数据库 API
数据传输DTS同步问题之遇到错误如何解决
数据传输服务(DTS)是一项专注于数据迁移和同步的云服务,在使用过程中可能遇到多种问题,本合集精选常见的DTS数据传输问题及其答疑解惑,以助用户顺利实现数据流转。
|
1月前
|
容灾 NoSQL 关系型数据库
数据传输DTS同步问题之二分库到四分库如何解决
数据传输服务(DTS)是一项专注于数据迁移和同步的云服务,在使用过程中可能遇到多种问题,本合集精选常见的DTS数据传输问题及其答疑解惑,以助用户顺利实现数据流转。
298 0
|
6月前
|
存储 Java 数据库连接
云数据仓库ADB不管是jdbc写入或者dts同步,均会存在丢数据的情况?
云数据仓库ADB不知道是不是磁盘出问题了不管是jdbc写入或者dts同步,均会存在丢数据的情况?
55 2
|
3月前
|
关系型数据库 MySQL 网络安全
dts同步问题之同步状态异常
dts同步问题之同步状态异常
31 4
|
3月前
|
数据采集 关系型数据库 MySQL
dts同步问题之同步冲突
dts同步问题之同步冲突
42 5