mysql基于amoeba的读写分离

本文涉及的产品
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介:

Amoeba的实用指南

http://docs.hexnova.com/amoeba/


如何实现mysql读写分离 :                                                                        

通常来说有两种方式:    

1,应用程序层实现                                                                                                            

2,中间件层实现  



应用层实现

应用层实现是指在应用程序内部及连接器中实现读写分离。

例如:

com.mysql.jdbc.replicationdriver

mysqlnd_ms

优点:

程序内部实现读写分离,安装即可使用

减少部署难度。

访问压力在一定级别以下,性能很好。

缺点:

架构一旦调整,代码要更这变, 不够灵活。

难以实现高级应用,如自动分库,分表

无法适用于更大型的应用场景。

目前还不支持事务


中间件层实现:

中间件层实现是指外部中间件程序实现读写分离

mysql-proxy

amoeba

TDDL(TAObao)

CObar(alibaba)

Atlas(qihoo360)

 

优点:

架构设计上更加灵活、

读库的负载均衡

可在程序上实现一些高级控制,failover,流量控制

依靠一些技术可以实现mysql性能提升,如连接池

对业务代码侵入性少

缺点:

需要有一定的开发实力和运维团队的支持

wKiom1ZUEZigsaQVAAGhwB6QewY870.png













 

如果你想支 持事务,又想读写分离,还想负载均衡和高可用,请去了解楼方鑫老师的oneproxy



什么是Amoeba?



Amoeba 2008发布的第一款开源框架

amoeba for mysql,致力于mysql分布式数据库代理层

它主要在应用层访问mysql的时候充当sql路由功能,专注于分布式数据库代理层,坐落于client,DBserver之间,对客户端透明具有负载均衡,高可用,sql过滤,读写分离,可路由相到目标数据库,可并发请求多台数据库合并结果

通过amoeba您能够完成数据源的高可用,负载均衡,数据切换功能,

目前amoeba目前不支持事务


下面是实现这一方案的架构图:

wKiom1Yt14_i8SSlAAEJLSWgjGU617.jpg

mysql主从复制配置

因为读写分离,所以一台负责mysql的写操作,另一台负责mysql的读操作,所以我们这里使用mysql的主从复制再合适不过了。关于这一配置,请移步:                                                                    http://douya.blog.51cto.com/6173221/1596113


Amoeba实现读写分离:


2,java环境配置

Amoeba框架是基于Java SE1.5开发的,建议使用Java SE 1.5版本。目前Amoeba经验证在JavaTM SE 1.5和Java SE 1.6能正常运行,(可能包括其他未经验证的版本)。
Java SE 1.6下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk-6u32-downloads-1594644.html
我这里下载jdk-6u32-linux-i586-rpm.bin。
下载完成后执行sh jdk-6u32-linux-i586-rpm.bin开始安装,将会安装到/usr/java/jdk1.6.0_32目录。

我自己选择的jdk是根据统一环境使用的1.7

3,Amoeba的安装

Amoeba下载地址:http://sourceforge.net/projects/amoeba/

下面是安装步骤:

1
2
3
4
cd  /root
mkdir  /usr/local/amoeba
wgethttp: //softlayer .dl.sourceforge.net /project/amoeba/Amoeba %20for%20mysql /2 .x /amoeba-mysql-binary-2 .1.0-RC5. tar .gz
tar  xzf amoeba-mysql-binary-2.1.0-RC5. tar .gz -C  /usr/local/amoeba

配置用户环境变量

vim /etc/profile

设置为:

1
2
3
4
5
export  JAVA_HOME= /root/jdk1 .7.0_79
export  CLASSPATH=$JAVA_HOME /lib/dt .jar:$JAVA_HOME /lib/tools .jar:$JAVA_HOME /jre/lib/rt .jar
export  PATH=$PATH:$JAVA_HOME /bin
export  JAVA_HOME
export  PATH

立即生效:

1
source   /etc/profile


4,Amoeba for mysql配置


配置Amoeba for mysql的读写分离主要涉及两个文件:

1、/usr/local/amoeba/conf/amoeba.xml
此文件定义了Amoeba代理的相关配置。

2、/usr/local/amoeba/conf/dbServers.xml
此文件定义由Amoeba代理的数据库如何连接,比如最基础的:主机IP、端口、Amoeba使用的用户名和密码等等。


amoeba.xml配置

amoeba本地配置或者对外的配置:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
  <! - -  service  class  must implements com.meidusa.amoeba.service.Service  - - >
  <service name = "Amoeba for Mysql"  class = "com.meidusa.amoeba.net.ServerableConnectionManager" >
<! - -  port  - - >
< property  name = "port" > 3306 < / property >    - 改成 3306 比较好,开发直接实用默认 3306 端口
<! - -  bind ipAddress  - - >
< property  name = "ipAddress" > 192.168 . 0.48 < / property >
  对外提供程序访问的IP地址,也就是amoeba机器对外访问的IP地址
< property  name = "manager" >${clientConnectioneManager}< / property >
< property  name = "connectionFactory" >
<bean  class = "com.meidusa.amoeba.mysql.net.MysqlClientConnectionFactory" >
< property  name = "sendBufferSize" > 128 < / property >
< property  name = "receiveBufferSize" > 64 < / property >
     < / bean>
     < / property >



amoeba对外连接验证配置:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
  < property  name = "authenticator" >
   <bean  class = "com.meidusa.amoeba.mysql.server.MysqlClientAuthenticator" >
  
   < property  name = "user" >amoeba< / property >     * * * *  对外提供访问的用户
                                         
   < property  name = "password" >Centos< / property >   * * * * 对外提供访问的密码
  
    < property  name = "filter" >
    <bean  class = "com.meidusa.amoeba.server.IPAccessController" >
    < property  name = "ipFile" >${amoeba.home} / conf / access_list.conf< / property >
    < / bean>
    < / property >
    < / bean>
    < / property >

这里定义连接amoeba时用来验证的用户及密码。


amoeba.xml读写分离配置:

1
2
3
4
  < property  name = "defaultPool" >Master< / property >
< property  name = "writePool" >Master< / property >
< property  name = "readPool" >virtualSlave< / property >
virtualSlave和dbServer.xml中配置的节点相关

defaultPool:配置了默认的数据库节点,一些除了SELECT\UPDATE\INSERT\DELETE的语句都会在defaultPool执行。
writePool :配置了数据库写库,通常配为Master,如这里就配置为之前定义的Master数据库。
readPool :配置了数据库读库,通常配为Slave或者Slave组成的数据库池,如这里就配置之前的virtualSlave数据库池。

 (1)dbServers.xml文件配置:

         本地的配置或者对外访问配置

 ***************表示需要修改部分

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
<dbServer name = "abstractServer"  abstractive = "true" >
  <factoryConfig  class = "com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory" >
            < property  name = "manager" >${defaultManager}< / property >
            < property  name = "sendBufferSize" > 64 < / property >
           < property  name = "receiveBufferSize" > 128 < / property >
  
           <! - -  mysql port  - - >
           < property  name = "port" > 3306 < / property >   
  
            <! - -  mysql schema  - - >
          < property  name = "schema" >roudy< / property > 必须是一个存在的database
  
           <! - -  mysql user  - - >
           < property  name = "user" >amoeba< / property >   * * * * * * * *
  
           <! - -   mysql password  - - >
           < property  name = "password" >Centos< / property > 默认被注释掉,需打开
  
           < / factoryConfig>
  
       <poolConfig  class = "com.meidusa.amoeba.net.poolable.PoolableObjectPool" >
             < property  name = "maxActive" > 500 < / property >
             < property  name = "maxIdle" > 500 < / property >
             < property  name = "minIdle" > 10 < / property >
             < property  name = "minEvictableIdleTimeMillis" > 600000 < / property >
             < property  name = "timeBetweenEvictionRunsMillis" > 600000 < / property >
             < property  name = "testOnBorrow" >true< / property >
             < property  name = "testWhileIdle" >true< / property >
             < / poolConfig>
         < / dbServer>
此部分定义 登录mysql服务器的端口,数据库名称,mysql用户及密码。


接下来配置主从定义:

***************表示需要修改部分

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
  
<dbServer name= "master"   parent= "abstractServer" >
      <factoryConfig>
       <!-- mysql ip -->
      <property name= "ipAddress" >192.168.0.1</property>  ** master-IP
      </factoryConfig>
      </dbServer>
<dbServer name= "Slave1"   parent= "abstractServer" >
      <factoryConfig>
      <!-- mysql ip -->
      <property name= "ipAddress" >192.168.0.2</property> ****slave1的IP        
      </factoryConfig>
      </dbServer>
<dbServer name= "Slave2"   parent= "abstractServer"
      <factoryConfig>
      <!-- mysql ip -->
      <property name= "ipAddress" >192.168.0.3</property>   ***slave2的IP
      </factoryConfig>
      </dbServer>
      <dbServer name= "virtualSlave"  virtual= "true" >      ***轮询策略
      <poolConfig class= "com.meidusa.amoeba.server.MultipleServerPool" >             <!-- Load balancing strategy: 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA-->
      <property name= "loadbalance" >1</property>
  
    <!-- Separated by commas,such as: server1,server2,server1 -->
      <property name= "poolNames" >Slave1,Slave2</property>
      </poolConfig>
      </dbServer>
此部分定义主服务器,从服务器,及从服务器连接池。这里只定义数据库地址,它们的用户及密码就是上面的abstractServer里的设置。注意用来连接真实mysql服务器的用户必须拥有远程连接权限 ,这里是先安装,完了在授权

配置授权用户

主服务器

1
mysql>  grant  create , select , insert , update , delete  on  *.*  to  amoeba@ '192.168.0.%'  identified  by  'Centos' ;


mysql> flush  privileges;

此时MySQL由于配置了主从同步,所以需要先停掉从的权限。

这里的amoeba,是amoeba.xml ,dbServer.xml中配置的amoeba用户


从服务器

1
2
  stop slave;
  grant  select  on  *.*  to  amoeba@ '192.168.0.%'  identified  by  'Centos' ;

 



amoeba启动

启动命令:

1
2
3
4
[root@localhost amobea]# bin/amoeba start
The stack  size  specified  is  too small, Specify  at  least 228k
Error: Could  not  create  the Java Virtual Machine.
Error: A fatal exception has occurred. Program will exit.




此命令以前台的方式启动,会输出启动时的信息,检查没有错误信息后,中断,并后台运行:

启动报错,修改启动脚本

1
2
3
[root@localhost amobea]# vim bin/amoeba
改为
DEFAULT_OPTS= "-server -Xms256m -Xmx256m -Xss256k"


后台启动amoeba

/usr/local/amoeba/bin/amoeba &

检验启动是否成功(3306端口):

1
2
3
[root@localhost amoeba] # ps aux | grep amoeba
root     24580  0.2 19.2 408912 49264 pts /1     Sl   12:52   0:11  /usr/java/jdk1 .6 /bin/java  -server -Xms256m -Xmx256m -Xss128k -Damoeba.home= /usr/local/amoeba  -Dclassworlds.conf= /usr/local/amoeba/bin/amoeba .classworlds -classpath  /usr/local/amoeba/lib/classworlds-1 .0.jar org.codehaus.classworlds.Launcher
[root@localhos amoeba] # netstat -lnp | grep java


最终测试:

链接测试 在任意客户端登录amoeba

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
[root@localhost ~]# mysql -u amoeba -p -h192.168.2.48
Enter  password
Welcome  to  the MySQL monitor.  Commands  end  with  or  \g.
Your MySQL  connection  id  is  1982632907
Server version: 5.1.45-mysql-amoeba-proxy-2.1.0-RC5 MySQL Community Server (GPL)
Copyright (c) 2000, 2013, Oracle  and / or  its affiliates.  All  rights reserved.
Oracle  is  a registered trademark  of  Oracle Corporation  and / or  its
affiliates. Other names may be trademarks  of  their respective
owners.
Type  'help;'  or  '\h'  for  help. Type  '\c'  to  clear the  current  input statement.
mysql> show databases;
+ --------------------+
Database            |
+ --------------------+
| information_schema |
| amoeba_test        |
| mysql              |
| performance_schema |
| repl               |
| roudy              |
| test               |
+ --------------------+
rows  in  set  (0.02 sec)
mysql>

如上表明amoeba配置完全正确。


测试读写是否正确:

此时读库是没有开启复制功能的,(stop  slave)

在master服务器上操作,新增一条数据

insert into luodi values ('1','luodi','master1');

紧接着在master查询

1
2
3
4
5
6
mysql>  select  from  luodi;
+ ------+-------+---------+
| id   |  name   | address |
+ ------+-------+---------+
|    1 | luodi | master  |
|    1 | luodi | master1 |


在salve服务器上操作,新增一条数据

insert into luodi values ('1','luodi','slave1');

紧接着在salve查询:

1
2
3
4
5
6
mysql>  select  from  luodi;
+ ------+-------+---------+
| id   |  name   | address  |
+ ------+-------+---------+
|    1 | luodi | slave   |
|    1 | luodi | slave1  |


现在在ameoba服务器查询:

1
2
3
4
5
6
mysql>  select  from  luodi;
+ ------+-------+---------+
| id   |  name   | address  |
+ ------+-------+---------+
|    1 | luodi | slave   |
|    1 | luodi | slave1  |


没有master服务器的数据,那么在amoeba服务器上插入一条数据,再次验证

insert into luodi values ('1','luodi','slave2');

登录master,salve查看

1
2
3
4
5
6
7
8
master:
mysql>  select  from  luodi;
+ ------+-------+---------+
| id   |  name   | address |
+ ------+-------+---------+
|    1 | luodi | master  |
|    1 | luodi | master1 |
|    1 | luodi | master2

salve:   此时slave任然没有开启复制

1
2
3
4
5
6
mysql>  select  from  luodi;
+ ------+-------+---------+
| id   |  name   | address  |
+ ------+-------+---------+
|    1 | luodi | slave   |
|    1 | luodi | slave1  |


到目前为止amoeba基于-M-S结构的动静分离完全成功,然后start slave即可、




      本文转自crazy_charles 51CTO博客,原文链接:http://blog.51cto.com/douya/1607493,如需转载请自行联系原作者





相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
4月前
|
存储 关系型数据库 MySQL
MySQL 读写分离原理
MySQL 读写分离原理
62 0
MySQL 读写分离原理
|
4月前
|
SQL 关系型数据库 MySQL
小白带你学习linux的mysql服务(主从mysql服务和读写分离三十一)
小白带你学习linux的mysql服务(主从mysql服务和读写分离三十一)
64 0
|
3月前
|
SQL 关系型数据库 MySQL
Mycat【Mycat部署安装(核心配置及目录结构、安装以及管理命令详解)Mycat高级特性(读写分离概述、搭建读写分离、MySQL双主双从原理)】(三)-全面详解(学习总结---从入门到深化)
Mycat【Mycat部署安装(核心配置及目录结构、安装以及管理命令详解)Mycat高级特性(读写分离概述、搭建读写分离、MySQL双主双从原理)】(三)-全面详解(学习总结---从入门到深化)
71 0
|
7月前
|
SQL 存储 关系型数据库
MySQL主从复制、读写分离
MySQL主从复制、读写分离
132 0
|
6月前
|
关系型数据库 MySQL 中间件
企业实战(10)基于Maxscale中间件实现Mysql读写分离实战
企业实战(10)基于Maxscale中间件实现Mysql读写分离实战
|
6月前
|
存储 SQL 关系型数据库
数据库魔法师:使用ShardingSphere实现MySQL读写分离与分片指南跟着爆叔的节奏稳了!
数据库魔法师:使用ShardingSphere实现MySQL读写分离与分片指南跟着爆叔的节奏稳了!
63 0
|
7月前
|
SQL 关系型数据库 MySQL
MySQL搭建主从备份读写分离(MySQL5.7案例)
MySQL搭建主从备份读写分离(MySQL5.7案例)
114 0
|
4月前
|
Java 关系型数据库 MySQL
②⑩② 【读写分离】Sharding - JDBC 实现 MySQL读写分离[SpringBoot框架]
②⑩② 【读写分离】Sharding - JDBC 实现 MySQL读写分离[SpringBoot框架]
40 0
|
1月前
|
关系型数据库 MySQL 数据库
使用 Docker 搭建一个“一主一从”的 MySQL 读写分离集群(超详细步骤
使用 Docker 搭建一个“一主一从”的 MySQL 读写分离集群(超详细步骤
59 0
|
5月前
|
Java 关系型数据库 MySQL
数据库系列课程(04)-SpringBoot整合MySQL读写分离
数据库系列课程(04)-SpringBoot整合MySQL读写分离
71 0