- 浏览: 162033 次
- 性别:
- 来自: 南京
文章分类
- 全部博客 (133)
- 数据库 (17)
- Java基础 (18)
- Web (18)
- 工具应用 (4)
- 黑技术 (1)
- CRM (1)
- XMPP (1)
- openfire (7)
- 软件流程 (1)
- 高性能篇 (10)
- 网络通讯 (5)
- Http (1)
- 负载均衡 (4)
- linux (2)
- hadoop (3)
- 分布式 (6)
- SOA (2)
- 构建 (2)
- ant lvy (1)
- 同步异步IO/NIO (3)
- 事务相关 (7)
- mysql (6)
- 照相 (1)
- android (1)
- 高并发 (2)
- 搜索 (0)
- JVM (1)
- Spark (1)
- 架构师 (3)
- docker (3)
- 大数据 (1)
最新评论
-
yjsxxgm:
yjsxxgm 写道yjsxxgm 写道
揭秘淘宝286亿海量图片存储与处理架构 -
yjsxxgm:
yjsxxgm 写道
揭秘淘宝286亿海量图片存储与处理架构 -
yjsxxgm:
yjsxxgm 写道
揭秘淘宝286亿海量图片存储与处理架构 -
yjsxxgm:
揭秘淘宝286亿海量图片存储与处理架构 -
raodun:
哥们,nginx做websphere的会话保持何如写?
nginx的会话保持
<转自http://blog.chinaunix.net/space.php?uid=20313874&do=blog&id=299470
> 为了设计一个合理的 MySQL Cluster To MySQL Server 的Replication 结构, 既能满足现有代码的修改量,又想能提高系统的并发注文量, 经过几周的摸索,设计以下的结构: http://blog.chinaunix.net/photo/33594_081104223443.jpg
http://blog.chinaunix.net/photo/33594_081104223443.jpg
为了应对我们的交易系统中非常高的并发注文的能力, 特点介绍: 1,采用 MySQL Cluster To MySQL Server 的Replication 结构。
从服务器上的 mysql.ndb_apply_status 表要重新创建, 2,采用 NDB表 和 INNODB表 放一起的方式,图中的SQL-4 SQL-5, 3,SQL-4,SQL-5 采用MM 的结构,他们间虽然是互为复制,但 Manager : 10.4.6.224 这样结构的所有 my.cnf ,ndbconfig.ini 的配置文件信息: SQL1 :10.4.6.220,
memlock #ndb-cluster-connection-pool=4 ndb_force_send=1 #transaction-isolation = READ-COMMITTED #add by wangxl ,for "converting HEAP to MyISAM " #add by liuyf for primary key repeat delayed_queue_size=500 #MySQL slave config ........... ndb-log-update-as-write=0 #ndb-cluster-connection-pool=4 #added 2008 08 20 for ... ndb_force_send=1 transaction-isolation = READ-COMMITTED #add by wangxl ,for "converting HEAP to MyISAM " #add by liuyf for primary key repeat replicate-do-db = MAIN relay-log=mfx226-relay-bin
SQL4 :10.4.6.227,
[MYSQLD] memlock #ndb-cluster-connection-pool=4 transaction-isolation = READ-COMMITTED #add by wangxl ,for "converting HEAP to MyISAM " #add by liuyf for primary key repeat delayed_queue_size=500 [mysqld] port = 3306 server-id = 228 #replicate-do-db = MAIN relay-log=mfx222-relay-bin query_cache_size=512M [mysql] [isamchk] #[myisamchk] [root@mfx224 ~]# cat /etc/ndbconfig.ini
MaxNoOfConcurrentOperations= 100000 #MaxNoOfConcurrentTransactions default 4096, #DataMemory= 1280M StringMemory=25 ##use in ndb62 RedoBuffer=128M DataDir=/usr/local/mysql/cluster BackupDataDir=/usr/local/mysql/BACKUP [ndb_mgmd default] [NDB_MGMD] [NDBD] [MYSQLD] [MYSQLD] [MYSQLD] 完 。。。
特设计了一下的结构:
将MySQL Cluster 的并发插入能力 在 Cluster上发挥,将许许多多的
Join 查询扔到Slave 上进行查询,也是扬长避短吧,虽然有些延迟,但对此要求不高的
就可以直接在Slave上查询,
http://bugs.mysql.com/39622
在搭建之初遇到很郁闷的问题,所幸通过在Cluster的SQL节点上参数:
ndb-log-update-as-write=0
得以解决。否则会出现更新数据从服务器上出现主键重复的错误。
修改成 MyISAM 表,并将主键去掉,并建立一个索引。
为了在切换的时候查询的速度能快些。
两台机器属于SQL节点中的两个普通节点,但是在SQL-4上同时又
创建了很多的Innodb的表,对Innodb的操作就直接在此上操作,
通过设定SQL-5 上的Replication 信息来将这些 Innodb 的表
内容全部复制到 SQl-5上,作为SQL-4 的贴身Slave,可以作为
SQL-5 的真正的替换,而不出现系统中丢失数据的问题。
同时在写的,对应用程序来说只有一台,这样不会产生一些不必要
的混乱。
对SQL-5 为什么一定要是Cluster中的节点而不是 单独拿出来
作为一个普通的Slave 的原因是:
1)系统的设计目标是 SQL-4 宕机后,系统还能正常交易,因为主要的
交易表都在Cluster中,全部的配置相关表都在应用的缓存中, SQL-4
宕机2-3 分钟不会影响应用程序。
2)在SQL-4宕机的过程切换过程中,系统的交易数据的写入是不停止的,
如何保证将这部分数据续写到众多的Slave 中去,这就是SQL-5作为
Cluster中节点的目的。
作为SQL节点,打开了binlog 日志并设置为row复制后,其他 SQL节点
上的写入的信息就会反映在SQL-5 上的日志中,并记录到 mysql.ndb_binlog_index
表中,通过 从服务器上 停顿的时间点的查询,看 mysql.ndb_apply_status 表
中最大的 epoch 值,到SQL-5 中的 mysql.ndb_binlog_index来找下一个binglog
日志 和 postion ,注意这点和以前的 Master----->Master-Slave ----> Slave
的切换方式不一样,和 ( Master --- Master ) -----> Slave 的切换方式也完全
不一样。
4,虽然MySQL5.1 还没有 GA , 但是 mysql_5.1.23_ndb_6.2.15 Cluster
已经是一个稳定的版本了,有很多成功的案例,在试用阶段系统也会稳定,
因此 各方面最终都同意了这个版本。
5,附上
SQL1 :10.4.6.220,
SQL5 :10.4.6.226,
SQL4 :10.4.6.227,
Slave01 : 10.4.6.228
[MYSQLD]
ndbcluster
ndb-connectstring=10.4.6.224
default-storage-engine=ndbcluster
max_connections=1024
default-character-set=cp932
ndb-log-update-as-write=0
#added 2008 08 20 for ...
#BASE config.....
skip-name-resolve
back_log =350
log-slow-queries = slow.log
long_query_time = 1
table_cache =350
sort_buffer_size = 1M
query_cache_size=512M
query_cache_limit=2M
engine_condition_pushdown=1
ndb_use_exact_count=0
#1 -- means enable, 0 -- means disable
slave-allow-batching=1
max_heap_table_size=64M
tmp_table_size=64M
thread_cache_size=350
auto_increment_increment=4
auto_increment_offset=4
bulk_insert_buffer_size=16M
log-bin=mfx220-bin
#binlog_format="STATEMENT"
binlog_format="ROW"
#binlog_format="MIXED"
server-id = 20
SQL5 :10.4.6.226,
[root@mfx226 ~]# cat /etc/my.cnf
[MYSQL_CLUSTER]
ndb-connectstring=10.4.6.224
[MYSQLD]
ndbcluster
ndb-connectstring=10.4.6.224
default-storage-engine=ndbcluster
max_connections=1024
default-character-set=cp932
memlock
#BASE config.....
skip-name-resolve
back_log =350
log-slow-queries = slow.log
long_query_time = 1
table_cache =350
sort_buffer_size = 1M
query_cache_size=512M
query_cache_limit=2M
engine_condition_pushdown=1
ndb_use_exact_count=0
#1 -- means enable, 0 -- means disable
slave-allow-batching=1
max_heap_table_size=64M
tmp_table_size=64M
thread_cache_size=350
auto_increment_increment=4
auto_increment_offset=3
#MySQL slave config ...........
log-bin=mfx226-bin
#binlog_format="STATEMENT"
#binlog_format="ROW"
binlog_format="MIXED"
server-id = 26
master-host = 10.4.6.227
master-user = root
master-password = 123456
replicate-ignore-table = MAIN.JHF_SYS_POSITION_INSERT
replicate-ignore-table = mysql.%
replicate-ignore-table = test.%
skip-slave-start
ndbcluster
ndb-connectstring=10.4.6.224
default-storage-engine=ndbcluster
max_connections=1024
default-character-set=cp932
ndb-log-update-as-write=0
#added 2008 08 20 for ...
#BASE config.....
skip-name-resolve
back_log =350
log-slow-queries = slow.log
long_query_time = 1
table_cache =350
sort_buffer_size = 1M
query_cache_size=512M
query_cache_limit=2M
ndb_force_send=1
engine_condition_pushdown=1
ndb_use_exact_count=0
#1 -- means enable, 0 -- means disable
slave-allow-batching=1
max_heap_table_size=64M
tmp_table_size=64M
thread_cache_size=350
auto_increment_increment=4
auto_increment_offset=4
bulk_insert_buffer_size=16M
#MySQL slave config ...........
log-bin=mfx227-bin
#binlog_format="STATEMENT"
#binlog_format="ROW"
binlog_format="MIXED"
server-id = 27
Slave01 : 10.4.6.228
socket = /tmp/mysql.sock
skip-locking
key_buffer = 512M
max_allowed_packet = 1M
table_cache =128
sort_buffer_size =1M
net_buffer_length = 8K
read_buffer_size = 256K
read_rnd_buffer_size = 512K
myisam_sort_buffer_size = 8M
#transaction-isolation = READ-COMMITTED
max_connections=1024
skip-name-resolve
back_log = 300
log-slow-queries = slow.log
long_query_time = 1
master-host = 10.4.6.227
master-user = root
master-password = 123456
#replicate-do-db = mysql
#replicate-ignore-table=mysql.ndb_apply_status
skip-slave-start
innodb_flush_log_at_trx_commit = 1
innodb_buffer_pool_size =128M
innodb_log_buffer_size = 16M
innodb_log_file_size =8M
innodb_file_per_table
innodb_status_file
innodb_thread_concurrency= 32
query_cache_limit=2M
[mysqldump]
quick
max_allowed_packet = 16M
no-auto-rehash
# Remove the next comment character if you are not familiar with SQL
#safe-updates
key_buffer = 20M
sort_buffer_size = 20M
read_buffer = 2M
write_buffer = 2M
#key_buffer = 20M
#sort_buffer_size = 20M
#read_buffer = 2M
#write_buffer = 2M
Manager : 10.4.6.224
# file "config.ini" - 2 data nodes and 2 SQL nodes
# This file is placed in the startup directory of ndb_mgmd (the management
# server)
# The first MySQL Server can be started from any host. The second can be started
# only on the host mysqld_5.mysql.com
[NDBD DEFAULT]
NoOfReplicas=1
MaxNoOfLocalOperations = 110000
#MaxNoOfConcurrentTransactions =
# (maximum number of tables accessed in any single transaction + 1)
# * number of cluster SQL nodes
MaxNoOfConcurrentTransactions=40960
#IndexMemory= 256M
DataMemory= 640M
IndexMemory= 128M
TimeBetweenWatchDogCheck= 30000
#Default ConcurrentScan.......
MaxNoOfConcurrentScans=256
MaxNoOfLocalScans=256
# Default BatchSize
BatchSizePerLocalScan=64
MaxNoOfOrderedIndexes= 1024
# REDO logs of 16X128M=2G.
NoOfFragmentLogFiles=16
FragmentLogFileSize=128M ## use in ndb62
# Default 1000
MaxNoOfAttributes=80000
# Default 128,limit 1600..
MaxNoOfTables=1500
# Default 64.
MaxNoOfUniqueHashIndexes=3500
#Default is 768 ..
MaxNoOfTriggers=1000
TransactionDeadlockDetectionTimeout=20000
#yunfei test
TransactionInactiveTimeout=16000
#This parameter defines the interval between synchronisation epochs
#for MySQL Cluster Replication. The default value is 100 milliseconds.
#TimeBetweenEpochs is part of the implementation of micro-GCPs,
#which can be used to improve the performance of MySQL Cluster Replication.
TimeBetweenEpochs=20 ## use in ndb62
#yunfei test
LockPagesInMainMemory=1
DataDir=/usr/local/mysql/cluster
[TCP default]
SendBufferMemory=2M
ReceiveBufferMemory=2M
Hostname= 10.4.6.224
logDestination=FILE:filename=cluster.log,maxsize=100000,maxfiles=6
HostName= 10.4.6.223
[MYSQLD default]
BatchByteSize=64k
BatchSize=128
[MYSQLD]
HostName= 10.4.6.220
HostName= 10.4.6.226
HostName= 10.4.6.227
[MYSQLD]
发表评论
-
如何实现XA式、非XA式Spring分布式事务
2017-03-05 10:50 1438<转自http://www.open-open.co ... -
怎么跳出MySQL的10个大坑
2017-03-05 10:51 429转 背景 关于Group Commit网上的资料其实已 ... -
MySQL的临时表和视图有什么优缺点吗
2017-03-02 14:52 722作者:知乎用户 链接:https://www.zhihu ... -
MySQL的经典用法----临时表与内存表
2017-03-02 14:36 608mysql5.5性能优化-内存表 临时表与内存表 内存表 ... -
MySQL详解--锁
2016-05-02 16:57 1229锁是计算机协调多个进程或线程并发访问某一资源的机制。在 ... -
数据库性能调优
2012-05-08 17:04 8691、1、调整数据结构 ... -
MySQL的表分区
2012-02-28 18:38 836<转自http://lehsyh.iteye.c ... -
mysql 存储引擎MyISAM ·InnoDB·Memory·Archive...的区别
2012-02-28 17:48 0<转自http://hi.baidu.com/s ... -
MySQL分区(mysql partition)
2012-01-13 14:01 1143《 http://hi.baidu.com/jackbil ... -
linux下mysql的卸载、安装全过程
2011-11-05 17:12 8791、查找以前是否装有mysql 可以看到mysql的两个包: ... -
sql server与excel、access数据互导
2011-10-28 17:51 792<转自http://www.duote.com/tech ... -
mysql数据库远程访问设置方法
2011-08-31 19:48 989mysql数据库远程访问设 ... -
分库分表总结
2011-07-12 14:28 1033转自http://happyenjoylife.iteye.c ... -
在MySQL中利用外键实现级联删除!
2010-07-15 14:35 780<转自>http://www.chinaunix. ... -
oracle,mysql,db2修改列比较
2010-07-10 15:54 1401(转自:http://www.54xue.com/w/18/n ... -
mac mysql error
2010-06-23 16:10 2857Mysql ERROR 1045 (28000): Acces ... -
ORACLE内部函数大全以及与SQLSERVER的区别
2009-12-09 10:31 1092字符函数 下面是Oracle支持的字符函数和它们的Micro ...
相关推荐
mysql-replication mysql数据库主从复制步骤
完整版 MySQL8.0从入门到精通 MySQL数据库教程 第17章 MySQL Replication(共27页).ppt 完整版 MySQL8.0从入门到精通 MySQL数据库教程 第18章 MySQL Workbench 的使用(共18页).ppt 完整版 MySQL8.0从入门到精通 ...
mysql介绍-安装-配置,希望多大家有帮助,谢谢!
MySql数据库迁移全文共3页,当前为第1页。MySql数据库迁移全文共3页,当前为第1页。前面分享十一主要谈到oracle数据库迁移,本分享十二集中谈谈mysql迁移解决方案。 MySql数据库迁移全文共3页,当前为第1页。 MySql...
完整版 MySQL8.0从入门到精通 MySQL数据库教程 第17章 MySQL Replication(共27页).ppt 完整版 MySQL8.0从入门到精通 MySQL数据库教程 第18章 MySQL Workbench 的使用(共18页).ppt 完整版 MySQL8.0从入门到精通 ...
3306π成都站-MySQL-Group-Replication深度剖析及实践-冯光普@多点1
python-mysql-replication 是一个纯 Python 实现的 MySQL 复制协议,基于 PyMYSQL 构建,可以让你接收到注入插入、更新和删除数据的事件。 使用场景: MySQL 到 NoSQL 的数据库复制 MySQL 到搜索引擎的复制...
完整版 MySQL8.0从入门到精通 MySQL数据库教程 第17章 MySQL Replication(共27页).ppt 完整版 MySQL8.0从入门到精通 MySQL数据库教程 第18章 MySQL Workbench 的使用(共18页).ppt 完整版 MySQL8.0从入门到精通 ...
python-mysql-replication-main
资源分类:Python库 所属语言:Python 资源全名:mysql-replication-0.4.1.tar.gz 资源来源:官方 安装方法:https://lanzao.blog.csdn.net/article/details/101784059
DB - Towards Low Latency State Machine Replication for Uncivil Wide-area Networks.pdf We consider the problem of building state machines in a multi-site environment in which there is lack of trust ...
数据库--stream replication初步研究[v1[1].0]
第18章 MySQL Replication(共27页).pptMySQL从入门到精通 第19章 MySQL Cluster(共49页).pptMySQL从入门到精通 第20章 PHP操作MySQL数据库(共7页).pptMySQL从入门到精通 第21章 MySQL实战-新闻发布系统数据库...
python-mysql-replication, 在PyMYSQL之上,MySQL复制协议构建的纯 python 实现 python-mysql-replication MySQL复制协议在PyMYSQL之上的纯 python 实现。 这允许你接收诸如插入。更新。delete 和它们的数据和原始...
Veeam-Backup-&-Replication-v11_安装配置手册 0327.pdf
第18章 MySQL Replication(共27页).pptMySQL从入门到精通 第19章 MySQL Cluster(共49页).pptMySQL从入门到精通 第20章 PHP操作MySQL数据库(共7页).pptMySQL从入门到精通 第21章 MySQL实战-新闻发布系统数据库...
资源来自pypi官网。 资源全名:mysql-replication-0.19.tar.gz
详细描述mysql-replication配置,mysql主从库切换,验证等
为了应用系统的可伸缩性,往往需要对数据库进行scale out设计,scale out设计也就是通过增加数据库处理节点来提高系统整体的处理能力,即...MySQL的Replication技术就是数据库复制的实现手段之一。 关于MySQL的Repli
本篇文章详细介绍了Mysql 5.7 基于组复制(MySQL Group Replication)的配置说明,实为线上操作手册,在此分享,希望能帮助到有用到的朋友~