mysql-proxy主从服务架构下读写分离和负载均衡实现及原理

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
应用型负载均衡 ALB,每月750个小时 15LCU
简介:

假设已经配置好mysql的主从架构

主服务器:192.168.3.189

从服务器:192.168.3.104


我们的目的就是实现读取操作由192.168.3.104服务器响应,写的操作由192.168.3.189响应

首先安装mysql-proxy

1、从mysql官网上下载最新版的mysql-proxy:http://dev.mysql.com/downloads/mysql-proxy/

2、在本地的/opt/software/ (你可以换成自己的目录)解压下载的压缩文件

解压后能看到 bin、lib、include、libexc、share几个文件夹

并把bin目录添加到系统环境变量中去(在/etc/profile 文件最后添加:export PATH=$PATH:/opt/software/mysql-proxy-0.8.3-linux-glibc2.3-x86-32bit/bin)

然后source /etc/profile 让刚才设置的环境变量生效

3、在命令行下输入mysql-proxy --help 能看到帮助信息说明安装成功了

4、启动mysql-proxy服务

mysql-proxy --keepalive --proxy-read-only-backend-addresses=192.168.3.104:3306 --proxy-backend-addresses=192.168.3.189:3306  --proxy-lua-script=/opt/software/mysql-proxy-0.8.3-linux-glibc2.3-x86-32bit/share/doc/mysql-proxy/rw-splitting.lua --log-file=/opt/software/mysql-proxy-0.8.3-linux-glibc2.3-x86-32bit/var/mysql-proxy.log

--keepalive   网上解释说有时候mysql-porxy会崩溃,这个参数能让mysql-proxy崩溃后自动重启

--proxy-read-only-backend-addresses    配置只读服务器

--proxy-backend-addresses    配置可读可写服务器(主服务器master)

--proxy-lua-script    配置读写分离的lua脚本,这个脚本就在mysql-proxy解压后的share目录里面

--log-file    日志文件


这样mysql-proxy就启动了,如果想让mysql-proxy在后台运行只需要添加--daemon 参数就行了,连接mysql-proxy的命令是

mysql -h192.168.3.189 -P4040 -utest -p123456


那么mysql-proxy是如何进行读写分离的呢,关键就在读写分离的lua脚本rw-splitting.lua

为了解释读写分离的原理,打开rw-splitting.lua脚本,该脚本中有几个关键的地方,我们分别来看


1、配置

1
2
3
4
5
6
7
8
9
[plain] view plaincopy
if  not proxy.global.config.rwsplit  then  
     proxy.global.config.rwsplit = {  
         min_idle_connections = 1,--设置每个服务器所拥有的最大连接池数量(我也不知道为啥命名为min),实际的最大连接数会比这个值大1,也就是在这个配置条件下,实际上每个服务器所能拥有的最大连接数是2  
         max_idle_connections = 1,--这个配置有啥做用还不知道  
   
         is_debug =  true --开启调试模式  
     }  
end



2、connect_server()  每次客户端连接myql-proxy的时候都会运行一次这个函数,然后返回一个mysql连接给客户端


首先明确一件是mysql-proxy所拥有最大的连接数是确定的,假设有n台服务器,min_idle_connections=2,那么所拥有的最大连接数量就是:n*(2+1)

函数首先会判断主服务器连接数是否达到最大值,如果没有,就创建一个连接主服务器的连接,并返回;

如果主服务器连接数已满,遍历每个从服务器,看从服务器连接是否达到最大值,如果没有,就创建一个,并返回;

如果所有服务器连接数都达到最大值,就返回主服务器创建的第一个连接


3、read_query() 每次客户端做sql查询的时候都会调用这个函数,这个函数把sql传到某个服务器,得到结果后返回给客户端

那么如何做读写分离呢?在函数内有这么一个判断

1
2
[plain] view plaincopy
if  stmt.token_name ==  "TK_SQL_SELECT"  then

  •  



这个语句的作用就是判断sql语句是不是以SELECT开始的,也就是判断是否是查询,如果是查询的话,接下来会有这么个语句


1
2
3
[plain] view plaincopy
local  backend_ndx = lb.idle_ro()  
lb.idle_ro() 是通过  local  lb = require( "proxy.balance" ) 引入的balance.lua文件


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
[plain] view plaincopy
function  idle_ro()   
     local  max_conns = -1  
     local  max_conns_ndx = 0  
   
     for  i = 1,  #proxy.global.backends do  
         local  s = proxy.global.backends[i]  
         local  conns = s.pool. users [proxy.connection.client.username]  
         -- pick a slave  which  has some idling connections  
         <span style= "color:#ff0000;" > if  s. type  == proxy.BACKEND_TYPE_RO and   
            s.state ~= proxy.BACKEND_STATE_DOWN and   
            conns.cur_idle_connections > 0  then  
             if  max_conns == -1 or   
                s.connected_clients < max_conns  then  
                 max_conns = s.connected_clients  
                 max_conns_ndx = i  
             end  
         end< /span >  
     end  
   
     return  max_conns_ndx  
end



这个函数的作用就是选择使用哪个读服务器,并返回服务器的index:max_conns_ndx


如何选择服务器呢? 它通过循环遍历所有服务器,然后选出一个客户端连接(s.connected_clients)最少的服务器,这样在一定程度上实现负载均衡



本文转自 转身撞墙角 51CTO博客,原文链接:http://blog.51cto.com/chentianwang/1709296

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
打赏
0
0
0
0
344
分享
相关文章
RocketMQ原理—5.高可用+高并发+高性能架构
本文主要从高可用架构、高并发架构、高性能架构三个方面来介绍RocketMQ的原理。
184 21
RocketMQ原理—5.高可用+高并发+高性能架构
基于LlamaIndex实现CodeAct Agent:代码执行工作流的技术架构与原理
CodeAct是一种先进的AI辅助系统范式,深度融合自然语言处理与代码执行能力。通过自定义代码执行代理,开发者可精准控制代码生成、执行及管理流程。本文基于LlamaIndex框架构建CodeAct Agent,解析其技术架构,包括代码执行环境、工作流定义系统、提示工程机制和状态管理系统。同时探讨安全性考量及应用场景,如软件开发、数据科学和教育领域。未来发展方向涵盖更精细的代码生成、多语言支持及更强的安全隔离机制,推动AI辅助编程边界拓展。
58 3
基于LlamaIndex实现CodeAct Agent:代码执行工作流的技术架构与原理
文生图架构设计原来如此简单之分布式服务
想象一下,当成千上万的用户同时要求AI画图,如何公平高效地处理这些请求?文生图/图生图大模型的架构设计看似复杂,实则遵循简单而有效的原则:合理排队、分工明确、防患未然。
86 14
文生图架构设计原来如此简单之分布式服务
深入解析Tiktokenizer:大语言模型中核心分词技术的原理与架构
Tiktokenizer 是一款现代分词工具,旨在高效、智能地将文本转换为机器可处理的离散单元(token)。它不仅超越了传统的空格分割和正则表达式匹配方法,还结合了上下文感知能力,适应复杂语言结构。Tiktokenizer 的核心特性包括自适应 token 分割、高效编码能力和出色的可扩展性,使其适用于从聊天机器人到大规模文本分析等多种应用场景。通过模块化设计,Tiktokenizer 确保了代码的可重用性和维护性,并在分词精度、处理效率和灵活性方面表现出色。此外,它支持多语言处理、表情符号识别和领域特定文本处理,能够应对各种复杂的文本输入需求。
153 6
深入解析Tiktokenizer:大语言模型中核心分词技术的原理与架构
MySQL的架构与SQL语句执行过程
MySQL架构分为Server层和存储引擎层,具有高度灵活性和可扩展性。Server层包括连接器、查询缓存(MySQL 8.0已移除)、分析器、优化器和执行器,负责处理SQL语句;存储引擎层负责数据的存储和读取,常见引擎有InnoDB、MyISAM和Memory。SQL执行过程涉及连接、解析、优化、执行和结果返回等步骤,本文详细讲解了一条SQL语句的完整执行过程。
98 3
MySQL原理简介—2.InnoDB架构原理和执行流程
本文介绍了MySQL中更新语句的执行流程及其背后的机制,主要包括: 1. **更新语句的执行流程**:从SQL解析到执行器调用InnoDB存储引擎接口。 2. **Buffer Pool缓冲池**:缓存磁盘数据,减少磁盘I/O。 3. **Undo日志**:记录更新前的数据,支持事务回滚。 4. **Redo日志**:确保事务持久性,防止宕机导致的数据丢失。 5. **Binlog日志**:记录逻辑操作,用于数据恢复和主从复制。 6. **事务提交机制**:包括redo日志和binlog日志的刷盘策略,确保数据一致性。 7. **后台IO线程**:将内存中的脏数据异步刷入磁盘。
157 12
Druid 架构原理及核心特性详解
Druid 是一个分布式、支持实时多维OLAP分析的列式存储数据处理系统,适用于高速实时数据读取和灵活的多维数据分析。它通过Segment、Datasource等元数据概念管理数据,并依赖Zookeeper、Hadoop和Kafka等组件实现高可用性和扩展性。Druid采用列式存储、并行计算和预计算等技术优化查询性能,支持离线和实时数据分析。尽管其存储成本较高且查询语言功能有限,但在大数据实时分析领域表现出色。
593 19
Git进阶笔记系列(01)Git核心架构原理 | 常用命令实战集合
通过本文,读者可以深入了解Git的核心概念和实际操作技巧,提升版本管理能力。
一文彻底讲透GPT架构及推理原理
本篇是作者从开发人员的视角,围绕着大模型正向推理过程,对大模型的原理的系统性总结,希望对初学者有所帮助。
后端服务架构的微服务化转型
本文旨在探讨后端服务从单体架构向微服务架构转型的过程,分析微服务架构的优势和面临的挑战。文章首先介绍单体架构的局限性,然后详细阐述微服务架构的核心概念及其在现代软件开发中的应用。通过对比两种架构,指出微服务化转型的必要性和实施策略。最后,讨论了微服务架构实施过程中可能遇到的问题及解决方案。
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等