Amoeba搞定mysql主从读写分离
http://blog.chinaunix.net/uid-20639775-id-154600.html
原创作品,转载请保留原文链接: 来自飞鸿无痕CU博客
前言:一直想找一个工具,能很好的实现mysql主从的读写分离架构,曾经试用过mysql-proxy发现lua用起来很不爽,尤其是不懂lua脚本,突然发现了 Amoeba这个项目,试用了下,感觉还不错,写出文档,希望对大家有帮助!
一、 Amoeba 是什么
Amoeba( 变形虫 ) 项目,专注 分布式数据库 proxy 开发。座落与 Client 、 DB Server(s) 之间。对客户端透明。具有负载均衡、高可用性、 sql 过滤、读写分离、可路由相关的 query 到目标数据库、可并发请求多台数据库合并结果。
主要解决:
• 降低 数据切分带来的复杂多数据库结构
• 提供切分规则并降低 数据切分规则 给应用带来的影响
• 降低 db 与客户端的连接数
• 读写分离
二、为什么要用 Amoeba
目前要实现 mysql 的主从读写分离,主要有以下几种方案:
1、 通过程序实现,网上很多现成的代码,比较复杂,如果添加从服务器要更改多台服务器的代码。
2、 通过 mysql-proxy 来实现,由于 mysql-proxy 的主从读写分离是通过 lua 脚本来实现,目前 lua 的脚本的开发跟不上节奏,而写没有完美的现成的脚本,因此导致用于生产环境的话风险比较大,据网上很多人说 mysql-proxy 的性能不高。
3、 自己开发接口实现,这种方案门槛高,开发成本高,不是一般的小公司能承担得起。
4、 利用阿里巴巴的开源项目 Amoeba 来实现,具有负载均衡、高可用性、 sql 过滤、读写分离、可路由相关的 query 到目标数据库,并且安装配置非常简单。国产的开源软件,应该支持,目前正在使用,不发表太多结论,一切等测试完再发表结论吧,哈哈!
三、快速架设 amoeba ,实现 mysql 主从读写分离
假设 amoeba 的前提条件:
n Java SE 1.5 或以上 Amoeba 框架是基于 JDK1.5 开发的,采用了 JDK1.5 的特性。
n 支持 Mysql 协议版本 10 ( mysql 4.1 以后的版本)。
n 您的网络环境至少运行有一个 mysql 4.1 以上的服务
1 、首先介绍下我的实验环境。
System : CentOS release 5.4
Master mysql : 192.168.1.121
Slave mysql : 192.168.1.108
Amoeba server : 192.168.1.159
架构如如下所示:
我这里只用了一个从数据库!
2 、安装配置 mysql 主从环境, mysql 的安装省略,请自行编译或者用 rpm 安装
### 在 master mysql 创建同步用户
grant replication slave,file on *.* to 'replication'@'192.168.1.108' identified by '123456';
flush privileges;
#### 修改 master 的 my.cnf 的配置
log-bin=mysql-bin
#
打开
mysql
二进制日志
server-id = 1
#
设置
mysql_id
,主从不能相同
binlog-do-db=test
#
设置二进制日志记录的库
binlog-ignore-db=mysql
##
设置二进制日志不记录的库
sync_binlog=1
#### 修改 slave 的 my.cnf 的配置
log-bin=mysql-bin
server-id = 2
replicate-do-db=test
#
设置同步的库
replicate-ignore-db=mysql
#
设置不同步的库
log-slave-updates
#
同步后记录二进制日志
slave-skip-errors=all
sync_binlog=1
slave-net-timeout=60
分别重启主从 mysqld 服务,登录主 mysql ,在主上执行 flush tables with read lock; 后将 test 数据库的数据 copy 到从上,并记录下主上 show master status\G 的结果:
如:
mysql> show master status\G;
*************************** 1. row ***************************
File: mysql-bin.000022
Position: 1237
Binlog_Do_DB: test
Binlog_Ignore_DB: mysql
然后执行 unlock tables
登录从 mysql ,在从上执行:
stop slave;
change master to master_host='192.168.1.121',master_user='replication',master_password='123456',master_log_file='mysql-bin.000022', master_log_pos=1237;
start slave ;
show slave status\G;
如果出现下面的情况,说明主从同步已经成功!
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
3 、安装 JDK 环境
下载 jdk1.5 或者更新版本 , 地址 http://java.sun.com/javase/downloads/index.jsp
我用的是: jdk-6u20-linux-i586-rpm.bin
在 Amoeba server 上执行
chmod +x jdk-6u20-linux-i586-rpm.bin
./ jdk-6u20-linux-i586-rpm.bin
## 然后按 n 次空格键,然后输入 yes 就可以了! ^_ ^
ln -s /usr/java/jdk1.6.0_20/ /usr/java/jdk1.6
vi /etc/profile
# 添加如下两行内容
export JAVA_HOME=/usr/java/jdk1.6
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
# 执行下面的命令使更改的内容生效
source /etc/profile
4、 安装 amoeba-mysql
下载 amoeba-mysql ,目前最新版本为 amoeba-mysql-1.3.1-BETA.zip
mkdir /usr/local/amoeba/
wget http://blogimg.chinaunix .net/blog/upfile2/101027160252.zip
unzip 101027160252.zip
配置文件位于 conf 目录下,执行文件位于 bin 目录下 , 解压后发现 bin 目录下的启动文件没有可执行权限,请执行: chmod -R +x /usr/local/amoeba/bin/
Amoeba For MySQL 的使用非常简单,所有的配置文件都是标准的 XML 文件,总共有四个配置文件。分别为:
◆ amoeba.xml :主配置文件,配置所有数据源以及 Amoeba 自身的参数设置;实现主从的话配置这个文件就可以了;
◆ rule.xml :配置所有 Query 路由规则的信息;
◆ functionMap.xml :配置用于解析 Query 中的函数所对应的 Java 实现类;
◆ rullFunctionMap.xml :配置路由规则中需要使用到的特定函数的实现类;
下面我们就来通过更改 amoeba.xml 配置文件实现 mysql 主从读写分离,我的配置如下:
|
启动 amoeba
/usr/local/amoeba/bin/amoeba &
检验启动是否成功(使用的是默认的 8066 端口):
[root@Centos2 amoeba]# ps aux | grep amoeba
root 24580 0.2 19.2 408912 49264 pts/1 Sl 12:52 0:11 /usr/java/jdk1.6/bin/java -server -Xms256m -Xmx256m -Xss128k -Damoeba.home=/usr/local/amoeba -Dclassworlds.conf=/usr/local/amoeba/bin/amoeba.classworlds -classpath /usr/local/amoeba/lib/classworlds-1.0.jar org.codehaus.classworlds.Launcher
[root@Centos2 amoeba]# netstat -lnp | grep java
tcp 0 0 ::ffff:192.168.1.159:8066 :::* LISTEN 24580/java
5、 测试
测试之前先要保证 amoeba-server 有访问两个主从服务器 test 库的权限 , 在主从 mysql 上都执行:
grant all on test.* to zhang@'192.168.1.%' identified by 'zhang123';
# 用户名密码要和前面配置的意志
flush privileges;
测试的时候和我们平时使用一样, amoeba-mysql 对我们应用透明,就是个 mysql 的代理了!
登录 mysql 使用如下命令(用户名密码和上面配置的要一致):
mysql -uroot -ppassword -h192.168.1.159 -P8066
登录上去后,为了测试读和写必须,先把 mysql 的主从复制停掉,才能更清楚地看出读写的服务器是哪台,在从上使用 stop slave; 登录到 amoeba-mysql 上,使用命令 mysql -uroot -ppassword -h192.168.1.159 -P8066 ,然后执行写和读操作,查看写的是哪台服务器,读的是哪台服务器,实验结果显示:写只在主上进行,读在主和从都进行,比率是 1:1
测试步骤:
还没有停掉从同步之前,创建一个表:
create table zhang (id int(10) ,name varchar(10),address varchar(20));
在从上执行 stop slave;
然后在主从上各插入一条不同数据(供测试读的时候用),
在主上插入: insert into zhang values('1','zhang','this_is_master');
在从上插入: insert into zhang values('2','zhang','this_is_slave');
接下来通过登录 amoeba-mysql 上来测试读写:
[root@Centos2 ~]# mysql -uroot -ppassword -h192.168.1.159 -P8066
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 14556042
Server version: 5.1.45-mysql-amoeba-proxy-1.3.1-BETA Source distribution
Type 'help;' or '\h' for help. Type '\c' to clear the buffer.
mysql> use test;
Database changed
mysql> select * from zhang; ### 第一次执行显示在主上读取的数据!
+------+-------+----------------+
| id | name | address |
+------+-------+----------------+
| 1 | zhang | this_is_master |
+------+-------+----------------+
1 row in set (0.02 sec)
mysql> select * from zhang; #### 第二次执行 select 语句显示是在从上读取的数据
+------+-------+---------------+
| id | name | address |
+------+-------+---------------+
| 2 | zhang | this_is_slave |
+------+-------+---------------+
1 row in set (0.02 sec)
mysql> insert into zhang values('3','hhh','test_write'); ### 插入一条数据,然后查询
Query OK, 1 row affected (0.01 sec)
mysql> select * from zhang; ### 我们可以看到插入的数据被添加到了主上!
+------+-------+----------------+ #### 可以多插入几次数据看看是否会出现错误!
| id | name | address |
+------+-------+----------------+
| 1 | zhang | this_is_master |
| 3 | hhh | test_write |
+------+-------+----------------+
mysql> select * from zhang; ### 从上还是没有插入,因为执行了 stop slave ;
+------+-------+---------------+
| id | name | address |
+------+-------+---------------+
| 2 | zhang | this_is_slave |
+------+-------+---------------+
6、 简单主从权重配置
大家可能会想到,我们加入只有两台数据库服务器,一台主,一台从,按照上面的配置只能是主和从的读取比率是 1:1, 而写又全部在主上进行,这样主的压力就很大了,所以如果能让主和从的读设置权重,比如设置成 1:3, 这样就可以很好的解决主从不压力均衡的问题!通过研究确实可以!
配置就是将上面的读的池的配置更改一下:
将 <property name="poolNames">server1,server2</property>更改成
<property name="poolNames">server1,server2 ,server2,server2 </property>
我测试的结果刚好为1:3, 如下:
mysql> select * from zhang;
+------+-------+----------------+
| id | name | address |
+------+-------+----------------+
| 1 | zhang | this_is_master |
| 3 | hhh | test_write |
+------+-------+----------------+
2 rows in set (0.01 sec)
mysql> select * from zhang;
+------+-------+---------------+
| id | name | address |
+------+-------+---------------+
| 2 | zhang | this_is_slave |
+------+-------+---------------+
1 row in set (0.04 sec)
mysql> select * from zhang;
+------+-------+---------------+
| id | name | address |
+------+-------+---------------+
| 2 | zhang | this_is_slave |
+------+-------+---------------+
1 row in set (0.01 sec)
mysql> select * from zhang;
+------+-------+---------------+
| id | name | address |
+------+-------+---------------+
| 2 | zhang | this_is_slave |
+------+-------+---------------+
学习链接:
开发者博客链接: http://amoeba.sourceforge.net/wordpress/
amoeba 中文文档下载地址:http://amoeba.meidusa.com/amoeba.pdf
amoeba 未来发展方向:http://amoeba.meidusa.com/amoeba-big-picture.pdf
相关推荐
Amoeba搞定mysql主从读写分离.pdf
MySQL 搭建 Amoeba 读写分离 在本文中,我们将详细介绍如何使用 Amoeba 实现 MySQL 读写分离的配置过程。Amoeba 是一个基于 MySQL 的 proxy,能够集中地响应应用的请求,并根据用户事先设置的规则,将 SQL 请求发送...
1.环境准备:mysql主服务器IP:192.168.60.5 Mysql从1服务器IP:192.168.60.10 mysql从2服务器IP:192.168.60.11 Amoeba代理服务器IP;192.168.60.20 客户机IP:192.168.60.30 ...主从复制 读写分离 经本人测试已成功
MySQL主从复制(Master-Slave)的方式来同步数据,再通过读写分离(MySQL-Proxy/Amoeba)来提升数据库的并发负载能力 这样的方案来进行部署与实施的
Amoeba主要解决以下问题: a). 数据切分后复杂数据源整合 b). 提供数据切分规则并降低数据切分规则给数据库带来的影响 c). 降低数据库与客户端连接 d). 读写分离路由 通过Amoeba实现读写分离
在用过Amoeba 和 Cobar,还有dbware 等读写分离组件后,今天我的一个好朋友跟我讲,MySQL自身的也是可以读写分离的,因为他们提供了一个新的驱动,叫 com.mysql.jdbc.ReplicationDriver 说明文档:...
关于mysql的读写分离架构有很多,百度的话几乎都是用mysql_proxy实现的。由于proxy是基于lua脚本语言实现的,所以网上不少网友表示proxy效率不高,也不稳定,不建议在生产环境使用; amoeba是阿里开发的一款数据库...
10-MySQL主从复制读写分离授权多种方案案例详解.avi 11-忽略MySQL主从复制主库授权表同步实战.avi 12-MySQL主从复制指定不同库表同步参数说明.avi 13-MySQL主从复制从库只读案例实战及原理总结.avi 14-企业生产场景...
通过MySQL中间件做主从集群,mysql Proxy、Amoeba、Atlas等中间件貌似都能符合需求。 优点是与应用层解耦。 缺点是增加一个服务维护的风险点,性能及稳定性待测试,需要支持代码强制主从和事务。
amoeba,提高mysql高可用,高并发,实现主从数据库同步,通过读写分离的方式提高数据库的并发负载能力
单纯的读写分离,此时配置最为简单,支持读写分离,主从切换 2. 分表分库,对于超过 1000 万的表进行分片,最大支持 1000 亿的单表分片 3. 多租户应用,每个应用一个库,但应用程序只连接 Mycat,从而不改造程序...