Mysql配置Replication主从复制-实现读写分离

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介: 概述:Mysql集群的方式可以是很多的,主从,一主多从,多组多从,主从的策略还可以进一步选择和配置。可以说是很灵活了。本文介绍的Replication是异步复制同步方案,分别有基于日志的还有基于GTID的。

概述:Mysql集群的方式可以是很多的,主从,一主多从,多组多从,主从的策略还可以进一步选择和配置。可以说是很灵活了。本文介绍的Replication是异步复制同步方案,分别有基于日志的还有基于GTID的。在docker环境下体验一下。

Replication

Replication是mysql异步复制同步方案,不难理解。异步复制速度快,但是一致性差。对于一些不特别重要的数据可以采用这总方案来同步,比如说日志这些数据。对业务影响不大的数据。

拉取mysql 5.7镜像

docker pull mysql:5.7
AI 代码解读

docker images 查看镜像

img_1c8e925519796256be87d95f4db94f8e.png

实例化两个docker容器

echo "Asia/shanghai" > /home/jorge/docker/mysql-master/timezone

docker run -p 3308:3306 \
--name mysql-master \
-v /home/jorge/docker/mysql-master/conf:/etc/mysql/conf.d \
-v /home/jorge/docker/mysql-master/logs:/logs \
-v /home/jorge/docker/mysql-master/data:/var/lib/mysql \
-v /usr/share/zoneinfo/Asia/Shanghai:/etc/localtime \
-v /home/jorge/docker/mysql-master/timezone:/etc/timezone \
-e MYSQL_ROOT_PASSWORD=123456 \
-d docker.io/mysql:5.7

echo "Asia/shanghai" > /home/jorge/docker/mysql-slave-1/timezone

docker run -p 3309:3306 \
--name mysql-slave-1 \
-v /home/jorge/docker/mysql-slave-1/conf:/etc/mysql/conf.d \
-v /home/jorge/docker/mysql-slave-1/logs:/logs \
-v /home/jorge/docker/mysql-slave-1/data:/var/lib/mysql \
-v /usr/share/zoneinfo/Asia/Shanghai:/etc/localtime \
-v /home/jorge/docker/mysql-slave-1/timezone:/etc/timezone \
-e MYSQL_ROOT_PASSWORD=123456 \
-d docker.io/mysql:5.7
AI 代码解读

docker ps 查看容器实例

img_f9e546cdbff28331affe6c8b8c66d600.png

方式一:使用日志文件同步数据

创建数据库配置文件

master.cnf 配置文件(/home/jorge/docker/mysql-master/conf/master.cnf)

[mysqld]
server-id=1
log-bin=mysql-bin
AI 代码解读

slave.cnf 配置文件(/home/jorge/docker/mysql-slave-1/conf/master.cnf)

[mysqld]
server_id=2
log-bin=mysql-bin
binlog-format=ROW
#忽略同步的表 
binlog_ignore_db=mysql
binlog_ignore_db=information_schema
binlog_ignore_db=performation_schema
binlog_ignore_db=sys
AI 代码解读

进入mysql-master配置用户权限、查看MASTER_LOG_FILE

# 进入mysql-master
docker exec -it mysql-master /bin/bash
#登陆
mysql -uroot -p
AI 代码解读
#创建用户、授权、刷新
mysql> CREATE USER 'jorge-m'@'%' IDENTIFIED BY '123456';
mysql> GRANT REPLICATION SLAVE ON *.* TO 'jorge-m'@'%';
mysql> FLUSH PRIVILEGES;

AI 代码解读
#查看MASTER_LOG_FILE
mysql> show master status;
+----------------------+----------+--------------+------------------+------------------------------------------+
| File                 | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set                        |
+----------------------+----------+--------------+------------------+------------------------------------------+
| master-binlog.000002 |     1040 |              |                  | ab240285-b4a4-11e8-9104-0242ac110003:1-4 |
+----------------------+----------+--------------+------------------+------------------------------------------+
1 row in set (0.00 sec)
AI 代码解读

进入mysql-slave-1配置从库的master参数

mysql> stop slave;
#省略了  mysql> 方便复制粘贴
#MASTER_HOST为mysql-master的ip。在宿主机执行docker inspect mysql-master可查看
CHANGE MASTER TO
     MASTER_HOST='172.17.0.2',
     MASTER_USER='jorge-m',
     MASTER_PORT=3306,
     MASTER_PASSWORD='123456',
     MASTER_LOG_FILE='mysql-bin.000002',
     MASTER_LOG_POS=0;
mysql> reset slave;
mysql> start slave;
AI 代码解读
#查看slave的启动情况,查看基本参数以及异常信息如下则正常
mysql> show slave status \G
Slave_IO_State: Waiting for master to send event
Master_Host: 172.17.0.2
Master_User: jorge-m
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: master-binlog.000002
Read_Master_Log_Pos: 1040
Relay_Log_File: dfd3ebbbb2f1-relay-bin.000003
Relay_Log_Pos: 1160
Relay_Master_Log_File: master-binlog.000002
......
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
.....
Last_Errno: 0
Last_Error: 
......
Last_IO_Errno: 0
Last_IO_Error: 
Last_SQL_Errno: 0
Last_SQL_Error: 

AI 代码解读

测试

重启容器实例使其加载配置文件

docker restart mysql-master
docker restart mysql-slave-1
AI 代码解读

接下来我们可以直接在主库新建一个数据库


img_7793e1d5c0250fa143396c3db51610af.png

刷新从库之后我们会发现testdb已经被同步到从库了


img_03e971047e04ae5223bac61ebab83693.png

方式二:GTID配置主从复制

以上是基于日志的主从复制是实现读写分离。这种同步方式很依赖于主库。如果主库宕机或者网络故障等问题出现,可能导致主从库同步丢失,或者多个从库之间数据不一致问题。那么为了解决这个问题mysql5.7.6之后引入了基于事务的主从复制方案。每个事务由唯一的GTID标识。当slave都执行了sql之后,master才持久化到硬盘,否则事务回滚,解决了一致性问题。

配置文件设置打开gtid_modeenforce_gtid_consistency

master.cnf

[mysqld]
#GTID:
server_id=1
gtid_mode=on
enforce_gtid_consistency=on

#binlog
log_bin=master-binlog
log-slave-updates=1    
binlog_format=row

#relay log
skip_slave_start=1

AI 代码解读

slave.cnf

[mysqld]
#GTID:
gtid_mode=on
enforce_gtid_consistency=on
server_id=2

#binlog
log-bin=slave-binlog
log-slave-updates=1
binlog_format=row

#relay log
skip_slave_start=1
AI 代码解读

登陆主库设置

如果主从库有操作没有同步的话要执行以下命令清空gtid_purged,或者dump备份主库到从库之后再设置

#登陆mysql主库后执行
reset master;
#查看gtid_purged和gtid_executed,两个值位为空即可
mysql> show global variables like '%gtid%'\G
AI 代码解读

登陆从库设置

这里配置MASTER_AUTO_POSITION = 1;会根据GTID去获取数据,因此不需要配置 MASTER_LOG_FILE和MASTER_LOG_POS了

mysql> stop slave;
 CHANGE MASTER TO  
     MASTER_HOST='172.17.0.2',    
     MASTER_USER='jorge-m',    
     MASTER_PASSWORD='123456',    
     MASTER_PORT=3306,    
     MASTER_AUTO_POSITION = 1;

mysql> reset slave;
mysql> reset master;
mysql> start slave;
AI 代码解读
#查看slave的启动情况,查看基本参数以及异常信息如下则正常
mysql> show slave status \G
......
# 我们会发现多了如下的值
Master_UUID: ab240285-b4a4-11e8-9104-0242ac110003
AI 代码解读

总结:

体验过后发现Replication的方式是单向同步的,只能从master写,从slave读。异步复制虽然性能上比较有优势,但是容灾能力真的不强。如果用这种方式来同步日志数据库的话,还可以接受。当然,这样的考虑mysql肯定也是会考虑到的。下一次学习体验下PXC 集群方案( Percona XtraDB Cluster )。

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
打赏
0
0
0
0
1
分享
相关文章
【YashanDB知识库】原生mysql驱动配置连接崖山数据库
【YashanDB知识库】原生mysql驱动配置连接崖山数据库
【YashanDB知识库】原生mysql驱动配置连接崖山数据库
如何实现 MySQL 的读写分离?
本文介绍了 MySQL 读写分离的实现方式及其主从复制原理,解释了如何通过主从架构提升读并发能力。重点分析了主从同步延时问题及解决方案,如半同步复制、并行复制等技术手段,并结合实际案例探讨了高并发场景下的优化策略。文章还提醒开发者在编写代码时需谨慎处理插入后立即查询的情况,避免因主从延时导致的数据不一致问题。
273 44
如何实现 MySQL 的读写分离?
seatunnel配置mysql2hive
本文介绍了SeaTunnel的安装与使用教程,涵盖从安装、配置到数据同步的全过程。主要内容包括: 1. **SeaTunnel安装**:详细描述了下载、解压及配置连接器等步骤。 2. **模拟数据到Hive (fake2hive)**:通过编辑测试脚本,将模拟数据写入Hive表。 3. **MySQL到控制台 (mysql2console)**:创建配置文件并执行命令,将MySQL数据输出到控制台。 4. **MySQL到Hive (mysql2hive)**:创建Hive表,配置并启动同步任务,支持单表和多表同步。
124 15
RDS用多了,你还知道MySQL主从复制底层原理和实现方案吗?
随着数据量增长和业务扩展,单个数据库难以满足需求,需调整为集群模式以实现负载均衡和读写分离。MySQL主从复制是常见的高可用架构,通过binlog日志同步数据,确保主从数据一致性。本文详细介绍MySQL主从复制原理及配置步骤,包括一主二从集群的搭建过程,帮助读者实现稳定可靠的数据库高可用架构。
121 9
RDS用多了,你还知道MySQL主从复制底层原理和实现方案吗?
MySQL 主从复制
主从复制是 MySQL 实现数据冗余和高可用性的关键技术。主库通过 binlog 记录操作,从库异步获取并回放这些日志,确保数据一致性。搭建主从复制需满足:多个数据库实例、主库开启 binlog、不同 server_id、创建复制用户、从库恢复主库数据、配置复制信息并开启复制线程。通过 `change master to` 和 `start slave` 命令启动复制,使用 `show slave status` 检查同步状态。常见问题包括 IO 和 SQL 线程故障,可通过重置和重新配置解决。延时原因涉及主库写入延迟、DUMP 线程性能及从库 SQL 线程串行执行等,需优化配置或启用并行处理
106 40
MySQL主从复制 —— 作用、原理、数据一致性,异步复制、半同步复制、组复制
MySQL主从复制 作用、原理—主库线程、I/O线程、SQL线程;主从同步要求,主从延迟原因及解决方案;数据一致性,异步复制、半同步复制、组复制
237 11
《docker高级篇(大厂进阶):1.Docker复杂安装详说》包括:安装mysql主从复制、安装redis集群
《docker高级篇(大厂进阶):1.Docker复杂安装详说》包括:安装mysql主从复制、安装redis集群
159 14
docker高级篇(大厂进阶):安装mysql主从复制
docker高级篇(大厂进阶):安装mysql主从复制
143 24
2024Mysql And Redis基础与进阶操作系列(1)作者——LJS[含MySQL的下载、安装、配置详解步骤及报错对应解决方法]
Mysql And Redis基础与进阶操作系列(1)之[MySQL的下载、安装、配置详解步骤及报错对应解决方法]
在 CentOS 7 中通过编译源码方式安装 MySQL 数据库的详细步骤,包括准备工作、下载源码、编译安装、配置 MySQL 服务、登录设置等。
本文介绍了在 CentOS 7 中通过编译源码方式安装 MySQL 数据库的详细步骤,包括准备工作、下载源码、编译安装、配置 MySQL 服务、登录设置等。同时,文章还对比了编译源码安装与使用 RPM 包安装的优缺点,帮助读者根据需求选择最合适的方法。通过具体案例,展示了编译源码安装的灵活性和定制性。
450 2
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等