MySQL Proxy实现数据的读写分离

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介:

做MySQL读写分离实验之前,先要搭建MySQL主从复制,可以参考我之前的两篇文章:

MySQL主从配置:http://msiyuetian.blog.51cto.com/8637744/1697288

部署搭建分层次LAMP架构(最后一章节):http://msiyuetian.blog.51cto.com/8637744/1740236

实现了主从复制后,下面我们进行读写分离的安装与配置。环境说明:

Linux发行版本:centos 6.7 x86_64 (三台)

Hostname
IP 备注
mysql-master
192.168.0.109 主MySQL
mysql-slaver 192.168.0.110 从MySQL
mysql-proxy 192.168.0.104 调度服务器

以下所有操若未特殊说明,都是在 mysql-proxy 机器上操作。


1、安装所需软件包

由于mysql-proxy实际上并不需要在本机上运行MySQL实例,所以这里用yum安装

[root@proxy ~]# yum install -y gcc gcc-c++ autoconf mysql-devel libtool pkgconfig ncurses ncurses-devel


2、安装libevent-2.0.22

[root@proxy ~]# cd /usr/local/src/

[root@proxy src]# wget https://github.com/libevent/libevent/releases/download/release-2.0.22-stable/libevent-2.0.22-stable.tar.gz

[root@proxy src]# tar xvf libevent-2.0.22-stable.tar.gz

[root@proxy src]# cd libevent-2.0.22-stable

[root@proxy libevent-2.0.22-stable]# ./configure

[root@proxy libevent-2.0.22-stable]# make

[root@proxy libevent-2.0.22-stable]# make install


3、安装glib-2.20.4

[root@proxy src]# wget http://ftp.gnome.org/pub/gnome/sources/glib/2.20/glib-2.20.4.tar.gz

[root@proxy src]# tar xvf glib-2.20.4.tar.gz

[root@proxy src]# cd glib-2.20.4

[root@proxy glib-2.20.4]# ./configure

[root@proxy glib-2.20.4]# make

[root@proxy glib-2.20.4]# make install


4、安装readline-6.1

[root@proxy src]# wget http://ftp.gnu.org/gnu/readline/readline-6.1.tar.gz

[root@proxy src]# tar xvf readline-6.1.tar.gz

[root@proxy src]# cd readline-6.1

[root@proxy readline-6.1]# ./configure

[root@proxy readline-6.1]# make

[root@proxy readline-6.1]# make install

[root@proxy readline-6.1]# ldconfig -v          //让动态链接库为系统所共享


5、安装 lua-5.1.4

[root@proxy src]# wget http://www.lua.org/ftp/lua-5.1.4.tar.gz

[root@proxy src]# tar xvf lua-5.1.4.tar.gz

[root@proxy src]# cd lua-5.1.4

[root@proxy lua-5.1.4]# vim src/Makefile        //64位系统需加上 -fPIC

CFLAGS= -O2 -Wall -fPIC $(MYCFLAGS)

[root@proxy lua-5.1.4]# make linux

[root@proxy lua-5.1.4]# make install

验证是否安装成功

[root@proxy lua-5.1.4]# /usr/local/lua/bin/lua

Lua 5.1.4  Copyright (C) 1994-2008 Lua.org, PUC-Rio

>


6、更改环境变量

[root@proxy lua-5.1.4]# cp etc/lua.pc /usr/local/lib/pkgconfig/

[root@proxy lua-5.1.4]# export PKG_CONFIG_PATH=$PKG_CONFIG_PATH:/usr/local/lib/pkgconfig

若版本为5.2以上则通过下面方式修改变量:

[root@proxy lua-5.2.3]# vim /etc/profile                              //添加如下

export LUA_CFLAGS="-I/usr/local/lua/include"

export LUA_LIBS="-L/usr/local/lua/lib-llua -ldl"

export LDFLAGS="-L/usr/local/libevent/lib -lm"

export CPPFLAGS="-I/usr/local/libevent/include"

export CFLAGS="-I/usr/local/libevent/include"

[root@proxy lua-5.2.3]# source /etc/profile


7、安装 mysql-proxy

[root@proxy src]# wget http://mirrors.sohu.com/mysql/MySQL-Proxy/mysql-proxy-0.8.4.tar.gz

[root@proxy src]# tar xvf mysql-proxy-0.8.4.tar.gz

[root@proxy src]# cd mysql-proxy-0.8.4

[root@proxy mysql-proxy-0.8.4]# ./configure -prefix=/usr/local/mysql-proxy

[root@proxy mysql-proxy-0.8.4]# make

[root@proxy mysql-proxy-0.8.4]# make install

[root@proxy mysql-proxy-0.8.4]# cp lib/rw-splitting.lua /usr/local/lib/

[root@proxy mysql-proxy-0.8.4]# cp lib/admin.lua /usr/local/lib/


8、新建配置文件

[root@proxy src]# vim /etc/mysql-proxy.cnf

[mysql-proxy]

admin-username = root

admin-password = 123456

admin-lua-script = /usr/local/lib/admin.lua

proxy-read-only-backend-addresses = 192.168.0.110

proxy-backend-addresses = 192.168.0.109

proxy-lua-script = /usr/local/lib/rw-splitting.lua

log-file = /var/log/mysql-proxy.log

log-level = debug

daemon = true

keepalive = true

[root@proxy src]# chmod 660 /etc/mysql-proxy.cnf

说明:

admin-username :指定登入的用户名

admin-password :指定登入的密码

admin-lua-script :指定由admin插件执行的脚本

proxy-address = <ip:port> :mysql-proxy服务端的监听端口,默认是4040,建议改成3306

proxy-read-only-backend-addresses = <ip:port> :指定只读slave的地址和端口,若有多个slave,以逗号分隔

proxy-backend-addresses = <ip:port> :指定远程master的地址和端口,若不指定默认是127.0.0.1:3306

proxy-lua-script :指定一个Lua脚本来控制mysql-proxy的运行和配置

defaults-file :指定mysql-proxy配置文件

log-file :指定日志文件

log-level :指定日志级别

daemon = true :指定mysql-proxy以守护进程方式运行

keepalive = true :开启该功能修正以前mysql-proxy容易死掉的bug


9、给用户授权

主MySQL执行:

mysql> grant all privileges on *.* to 'proxyuser'@'192.168.0.104' identified by '123456' with grant option;

从MySQL执行:

mysql> grant all privileges on *.* to 'proxyuser'@'192.168.0.104' identified by '123456' with grant option;


10、编辑读写分离脚本

[root@proxy src]# vim /usr/local/lib/rw-splitting.lua

找到:

min_idle_connections = 4,

max_idle_connections = 8,

改为:

min_idle_connections = 1,

max_idle_connections = 2,

说明:修改默认连接,进行快速测试,不修改的话要达到连接数为4时才启用读写分离。


11、启动mysql-proxy

[root@proxy src]# /usr/local/mysql-proxy/bin/mysql-proxy -P 192.168.0.104:3306 --defaults-file=/etc/mysql-proxy.cnf


12、测试读写分离

[root@proxy src]# netstat -lnp                                 //查看已启动 mysql-proxy 服务

wKioL1cPRbTjUlFdAABBKVPkTIs375.png


[root@proxy src]# tail /var/log/mysql-proxy.log    //查看日志文件,如下表示成功

2016-04-14 22:32:11: (message) chassis-unix-daemon.c:136: [angel] we try to keep PID=56545 alive

2016-04-14 22:32:11: (debug) chassis-unix-daemon.c:157: waiting for 56545

2016-04-14 22:32:11: (debug) chassis-unix-daemon.c:121: we are the child: 56545

2016-04-14 22:32:11: (critical) plugin proxy 0.8.4 started

2016-04-14 22:32:11: (debug) max open file-descriptors = 1024

2016-04-14 22:32:11: (message) proxy listening on port 192.168.0.104:3306

2016-04-14 22:32:11: (message) added read/write backend: 192.168.0.109

2016-04-14 22:32:11: (message) added read-only backend: 192.168.0.110

wKioL1cPRfLxa7nBAABLlzuGk3s953.png


注意:MySQL Proxy服务启动后,我们可以看到网站页面全是乱码,所以要将主从数据库的配置文件都要加上如下代码以避免这个问题

# vim /etc/my.cnf

[mysqld]

skip-character-set-client-handshake init-connect = 'SET NAMES utf8'

default-character-set = utf8








      本文转自 M四月天 51CTO博客,原文链接:http://blog.51cto.com/msiyuetian/1763892,如需转载请自行联系原作者






相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
打赏
0
0
0
0
348
分享
相关文章
如何实现 MySQL 的读写分离?
本文介绍了 MySQL 读写分离的实现方式及其主从复制原理,解释了如何通过主从架构提升读并发能力。重点分析了主从同步延时问题及解决方案,如半同步复制、并行复制等技术手段,并结合实际案例探讨了高并发场景下的优化策略。文章还提醒开发者在编写代码时需谨慎处理插入后立即查询的情况,避免因主从延时导致的数据不一致问题。
321 44
如何实现 MySQL 的读写分离?
【YashanDB知识库】MySQL迁移至崖山char类型数据自动补空格问题
**简介**:在MySQL迁移到崖山环境时,若字段类型为char(2),而应用存储的数据仅为&#39;0&#39;或&#39;1&#39;,查询时崖山会自动补空格。原因是mysql的sql_mode可能启用了PAD_CHAR_TO_FULL_LENGTH模式,导致保留CHAR类型尾随空格。解决方法是与应用确认数据需求,可将崖山环境中的char类型改为varchar类型以规避补空格问题,适用于所有版本。
【YashanDB知识库】字符集latin1的MySQL中文数据如何迁移到YashanDB
本文探讨了在使用YMP 23.2.1.3迁移MySQL Server字符集为latin1的中文数据至YashanDB时出现乱码的问题。问题根源在于MySQL latin1字符集存放的是实际utf8编码的数据,而YMP尚未支持此类场景。文章提供了两种解决方法:一是通过DBeaver直接迁移表数据;二是将MySQL表数据转换为Insert语句后手动插入YashanDB。同时指出,这两种方法适合单张表迁移,多表迁移可能存在兼容性问题,建议对问题表单独处理。
【YashanDB知识库】字符集latin1的MySQL中文数据如何迁移到YashanDB
Redis和Mysql如何保证数据⼀致?
1. 先更新Mysql,再更新Redis,如果更新Redis失败,可能仍然不⼀致 2. 先删除Redis缓存数据,再更新Mysql,再次查询的时候在将数据添加到缓存中 这种⽅案能解决1 ⽅案的问题,但是在⾼并发下性能较低,⽽且仍然会出现数据不⼀致的问题,⽐如线程1删除了 Redis缓存数据,正在更新Mysql,此时另外⼀个查询再查询,那么就会把Mysql中⽼数据⼜查到 Redis中 1. 使用MQ异步同步, 保证数据的最终一致性 我们项目中会根据业务情况 , 使用不同的方案来解决Redis和Mysql的一致性问题 : 1. 对于一些一致性要求不高的场景 , 不做处理例如 : 用户行为数据 ,
SpringBoot 通过集成 Flink CDC 来实时追踪 MySql 数据变动
通过详细的步骤和示例代码,您可以在 SpringBoot 项目中成功集成 Flink CDC,并实时追踪 MySQL 数据库的变动。
431 43
MySQL底层概述—4.InnoDB数据文件
本文介绍了InnoDB表空间文件结构及其组成部分,包括表空间、段、区、页和行。表空间是最高逻辑层,包含多个段;段由若干个区组成,每个区包含64个连续的页,页用于存储多条行记录。文章还详细解析了Page结构,分为通用部分(文件头与文件尾)、数据记录部分和页目录部分。此外,文中探讨了行记录格式,包括四种行格式(Redundant、Compact、Dynamic和Compressed),重点介绍了Compact行记录格式及其溢出机制。最后,文章解释了不同行格式的特点及应用场景,帮助理解InnoDB存储引擎的工作原理。
MySQL底层概述—4.InnoDB数据文件
基于SQL Server / MySQL进行百万条数据过滤优化方案
对百万级别数据进行高效过滤查询,需要综合使用索引、查询优化、表分区、统计信息和视图等技术手段。通过合理的数据库设计和查询优化,可以显著提升查询性能,确保系统的高效稳定运行。
73 9
MySQL和SQLSugar百万条数据查询分页优化
在面对百万条数据的查询时,优化MySQL和SQLSugar的分页性能是非常重要的。通过合理使用索引、调整查询语句、使用缓存以及采用高效的分页策略,可以显著提高查询效率。本文介绍的技巧和方法,可以为开发人员在数据处理和查询优化中提供有效的指导,提升系统的性能和用户体验。掌握这些技巧后,您可以在处理海量数据时更加游刃有余。
188 9
MySQL进阶突击系列(09)数据磁盘存储模型 | 一行数据怎么存?
文中详细介绍了MySQL数据库中一行数据在磁盘上的存储机制,包括表空间、段、区、页和行的具体结构,以及如何设计和优化行数据存储以提高性能。
【YashanDB 知识库】MySQL 迁移至崖山 char 类型数据自动补空格问题
问题分类】功能使用 【关键字】char,char(1) 【问题描述】MySQL 迁移至崖山环境,字段类型源端和目标端都为 char(2),但应用存储的数据为'0'、'1',此时崖山查询该表字段时会自动补充空格 【问题原因分析】mysql 有 sql_mode 控制,检查是否启用了 PAD_CHAR_TO_FULL_LENGTH SQL 模式。如果启用了这个模式,MySQL 才会保留 CHAR 类型字段的尾随空格,默认没有启动。 #查看sql_mode mysql> SHOW VARIABLES LIKE 'sql_mode'; 【解决/规避方法】与应用确认存储的数据,正确定义数据
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等