mysql主从复制及半同步

本文涉及的产品
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介:

简介:主从复制原理、机制

要实施复制,首先必须打开Master端的binary logbin-log)功能,否则无法实现。因为整个复制过程实际上就是SlaveMaster端获取该日志然后再在自己身上完全顺序的执行日志中所记录的各种操作。

复制的基本过程如下:

1)Slave上面的IO_thread连接上Master,并请求从指定日志文件的指定位置(或者从最开始的日志)之后的日志内容;

2)Master接收到来自SlaveIO_thread的请求后,通过负责复制的IO进程根据请求信息读取制定日志指定位置之后的日志信息,返回给Slave IO_thread。返回信息中除了日志所包含的信息之外,还包括本次返回的信息已经到Master端的bin-log file的以及bin-log pos

3)SlaveIO_thread接收到信息后,将接收到的日志内容依次添加到Slave端的relay-log文件的最末端,并将读取到的Master端的 bin-log的文件名和位置记录到master-info文件中,以便在下一次读取的时候能够清楚的告诉Master“我需要从某个bin-log的哪 个位置开始往后的日志内容,请发给我”;

4)SlaveSql_thread检测到relay-log中新增加了内容后,会马上解析relay-log的内容成为在Master端真实执行时候的那些可执行的内容,并在本机上回放。

总结:mysql主从架构最重要的就是bin_log和relay_log日志,全局事务ID


一,mysql主从设置

主节点开启二进制日志,从节点开始中继日志,从节点如果有必要可以不开启二进制日志。另外注意从节点一定要开启只读锁read_only=on。如果需要备份表等高级操作就需要innodb_file_per_table=on给每个表单独一个命名空间。

master    192.168.100.100

wKiom1Z2dFaQTHzCAAAZTc80_2M084.png

wKiom1Z2ezfCZnkcAAAZVu4Ux_c629.png

创建超级管理员

1
GRANT ALL ON *.* to  'test-001' @ '192.168.%.%'  IDENTIFIED BY  '123' ;

创建复制权限用户

1
2
3
GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO  'test-002' @ '192.168.%.%'  IDENTIFIED BY  'test-002' ;
 
注意:要在创建用户之前show master status;这样才能把创建的账户也同步到从节点上。

slave

wKiom1Z2eYjh7lRCAAAZ_77C204747.png

关闭从节点上的二进制日志,同步过程的二进制日志保存完全是没有必要的

1
2
SET sql_log_bin=off;
SHOW VARIABLES LIKE  'sql_log%' ;

从服务建立与master的联系

1
  CHANGE MASTER TO MASTER_HOST= '192.168.100.100' ,MASTER_USER= 'test-002' ,MASTER_PASSWORD= 'test-002' ,MASTER_LOG_FILE= 'mysql-bin.000003' ,MASTER_LOG_POS=245;


启动sql和IO线程

1
START SLAVE;

wKiom1Z2fo_jTYWlAAAplayH3tQ498.png

给从节点施加全局锁:

1
FLUSH TABLES WITH READ LOCK;

至此mysql主从设置完成;

查看主从复制延迟

1
2
SHOW SLAVE STATUS
Seconds_Behind_Master: 0  落后主服务多长时间

延迟处理:半同步或灰度备份恢复重新复制。



二、半同步设置(建立在主从基础上)

半同步复制利用了插件

/usr/lib64/mysql/plugin/semisync_master.so

/usr/lib64/mysql/plugin/semisync_slave.so

[mysqld]默认不设置

plugin_dir=/path/to/plugin/directory  插件目录设置

master:

装载插件

mysql> INSTALL PLUGIN rpl_semi_sync_master SONAME 'semisync_master.so';

检查插件装载情况

show plugins;

rpl_semi_sync_master           | ACTIVE   | REPLICATION        | semisync_master.so | GPL

启用是否是版同步的主节点

mysql> SET GLOBAL rpl_semi_sync_master_enabled=1;

mysql> SHOW GLOBAL VARIABLES LIKE '%semi%';

mysql> SHOW GLOBAL STATUS LIKE '%semi%';

MariaDB [(none)]> show variables like '%semi%';

+------------------------------------+-------+

| Variable_name               | Value |

+------------------------------------+-------+

| rpl_semi_sync_master_enabled     | ON   |启用是否是版同步的主节点

| rpl_semi_sync_master_timeout     | 10000 |

| rpl_semi_sync_master_trace_level  | 32   |跟踪级别32

| rpl_semi_sync_master_wait_no_slave | ON   |是否允许master 每个事物提交后都要等待slave的receipt信号。

+------------------------------------+-------+


slave:

mysql> INSTALL PLUGIN rpl_semi_sync_slave SONAME 'semisync_slave.so';

mysql> SET GLOBAL rpl_semi_sync_slave_enabled=1;





测试

关闭从节点,创建一个数据库,观测

wKiom1Z2jgWTkHOUAABA-9czXQU769.png

观察从节点上的状态

wKiom1Z2jnODUjoXAAAeVhELHng585.png



如果出现这样的问题解决

master:

mysql> SET GLOBAL rpl_semi_sync_master_enabled=1;

slave:

mysql> SET GLOBAL rpl_semi_sync_slave_enabled=1;

mysql> STOP SLAVE;

mysql> START SLAVE;



本文转自 吃草的青蛙 51CTO博客,原文链接:http://blog.51cto.com/tlinux/1726605,如需转载请自行联系原作者

相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
23天前
|
关系型数据库 MySQL
elasticsearch对比mysql以及使用工具同步mysql数据全量增量
elasticsearch对比mysql以及使用工具同步mysql数据全量增量
20 0
|
30天前
|
SQL 存储 关系型数据库
MySQL的主从复制&主从同步
MySQL的主从复制&主从同步
28 0
|
1月前
|
关系型数据库 MySQL API
Flink CDC产品常见问题之mysql整库同步到starrock时任务挂掉如何解决
Flink CDC(Change Data Capture)是一个基于Apache Flink的实时数据变更捕获库,用于实现数据库的实时同步和变更流的处理;在本汇总中,我们组织了关于Flink CDC产品在实践中用户经常提出的问题及其解答,目的是辅助用户更好地理解和应用这一技术,优化实时数据处理流程。
|
1月前
|
SQL DataWorks 关系型数据库
DataWorks常见问题之dataworks同步Rds任务失败如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
1月前
|
运维 安全 网络安全
Flink CDC产品常见问题之flink1.18同步mysql-starrocks pipeline时报错如何解决
Flink CDC(Change Data Capture)是一个基于Apache Flink的实时数据变更捕获库,用于实现数据库的实时同步和变更流的处理;在本汇总中,我们组织了关于Flink CDC产品在实践中用户经常提出的问题及其解答,目的是辅助用户更好地理解和应用这一技术,优化实时数据处理流程。
|
1月前
|
消息中间件 关系型数据库 MySQL
Flink CDC产品常见问题之flinkcdc3同步mysql到doris的时候语句不同步如何解决
Flink CDC(Change Data Capture)是一个基于Apache Flink的实时数据变更捕获库,用于实现数据库的实时同步和变更流的处理;在本汇总中,我们组织了关于Flink CDC产品在实践中用户经常提出的问题及其解答,目的是辅助用户更好地理解和应用这一技术,优化实时数据处理流程。
|
11天前
|
负载均衡 容灾 关系型数据库
mysql主从复制
mysql主从复制
28 1
|
28天前
|
SQL 存储 运维
MySQL高可用性:主从复制和集群
MySQL高可用性:主从复制和集群
34 0
|
10天前
|
SQL 关系型数据库 MySQL
mysql主从复制
mysql主从复制
|
1月前
|
关系型数据库 MySQL API
Flink CDC产品常见问题之mysql整库同步到starrock时任务挂掉如何解决
Flink CDC产品常见问题之mysql整库同步到starrock时任务挂掉如何解决