`
m635674608
  • 浏览: 4931492 次
  • 性别: Icon_minigender_1
  • 来自: 南京
社区版块
存档分类
最新评论

mycat 分片中快速数据迁移思考

 
阅读更多

操作实践背景:

     travelrecord表定义为10个分片,尝试将10个分片中的2个分片转移到第二台MySQL上,并完成记录,   要求最快的数据迁移做法,中断业务时间最短

 

 

思路一利用mysqldump:

在这里我们只针对mysql innodb engine,而且配置bin-log的数据库进行分析。因为是将10个分片中的两个分片进行迁移,其实就是数据库的迁移过程,就是将10个数据库中的两个数据迁移到另外一台机器;中断业务最短的做法就是:

1)  准备mycat新的配置文件备用,以便快速切换配置文件。
2)  在业务地峰期间,如凌晨,使用mysqldump进行数据库的全量备份(附带--flush-logs);
3)  将两个分片数据库的全量备份第二台机器上进行全量恢复;
4)  停止mycat服务器,
5)  停止第一台机器的mycat实例(假设原来的分片在一个mysql实例)
6)  拷贝第一台机器的binlog文件到第二台机器,并使用mysql的mysqlbinlog工具进行这两个数据库的增量数据的恢复。
7)  启动第一台数据实例,校验迁移的两个分片数据正确性(主要看记录数)

8)  替换mycat的配置文件并启动mycat实例

 

在该方案中,业务中断的时间主要是处理mysqlbinlog的增量数据恢复。

 

思路二利用mysql的ms机制做级联复制

在这里二个片比如第一个分片db11,第二个分片db21,我在db11上面再做个级联主从,db11-->db16,在db21上面做个级联主从db21->db26,这样到时候数据实时同步,中断业务比较短的做法是:

1)准备mycat新配置文件备用,以便快速切换配置文件。

2)在业务低峰期间,比如凌晨时分,开始操作,停止mycat服务器

3)进行db11-db16主备切换,进行db21-db26主备切换

 

4)停止第一台机器的mycat实例

5)在主备切换过程中,旧的主db11、db21上面的binlog中如果有新的dml、ddl操作,就用mysqlbinlog解析出来,在新的主db16和db26上面重做一遍

6)使用mk-table-checksum工具检查新主从db16->db11、db26->db21的数据一致性。

7)替换mycat的配置文件并启动mycat实例

 

http://blog.csdn.net/mchdba/article/details/50939614

分享到:
评论

相关推荐

    MYCAT数据扩容+数据迁移

    MYCAT数据扩容+数据迁移。。。。。。。。。。。。。。。

    mycat分片规则

    mycat分片规则,各种分片策略,很好的Mycat入门资料,适合初学者。

    Mycat跨分片Join指南

    MYCAT如何跨分片JOIN,很好的Mycat入门资料,适合初学者。

    Mycat生产实践之数据迁移与扩容实践.docx

    Mycat生产实践之数据迁移与扩容实践.docxMycat生产实践之数据迁移与扩容实践.docxMycat生产实践之数据迁移与扩容实践.docxMycat生产实践之数据迁移与扩容实践.docxMycat生产实践之数据迁移与扩容实践.docx

    详解-mycat分片

    详细介绍mycat分片的相关分片规则,包括枚举法、固定分片hash算法、范围约定算法、求模法、日期列分区法、通配取模等

    Mycat2数据迁移工具-yugong免积分下载!

    mysql数据迁移至Mycat工具,yugong,免积分下载!

    基于MYCAT简单实现数据库水平分片测试示例详解

    基于MYCAT简单实现数据库水平分片测试示例详解

    简述MySQL分片中快速数据迁移

    travelrecord表定义为10个分片,尝试将10个分片中的2个分片转移到第二台MySQL上,并完成记录, 要求最快的数据迁移做法,中断业务时间最短 思路一利用mysqldump: 在这里我们只针对mysql innodb engine,而且配置bin-...

    mycat分片规则 1

    mycat分片规则 1

    Mycat从入门到精通视频教程

    Mycat数据扩容与迁移 第9课 Mycat案例分析 Mycat线上案例分析 第10课 MySQL 优化 MySQL通用调优 MySQL 主键问题 MySQL字段类型问题 MySQL Cache问题 MySQL常见误区 第11课 Mycat eye Mycat eye的规划...

    mycat从入门到跑路

    命令行工具指南 第4课 Mycat分片规则详解 Mycat 几种分片规则的使用说明以及例子 第5课 Mycat跨分片问题 Mycat跨分片聚合处理、Mycat跨分片JOIN、Mycat分布式事务 第6课 Mycat性能测试 与调优 Mycat性能参数及调优 ...

    mycat数据分片.doc

    准备四台主机,搭建mycat分片服务器,通过某种特定条件,将存放在一个数据库(主机)中的数据,分散存放到多个数据库(主机)中,以达到分散单台设备负载的效果。其中192.168.4.56作为mycat服务器,192.168.4.54和192....

    Mycat取模分片示例

    Mycat取模分片示例

    Mycat分库分表文档及demo.rar

    Mycat 分库分表、主从文档及代码demo,Mycat安装配置 Mycat分库实战 Mycat扩展应用 Mycat主从同步 Mycat实战demo

    mycat分库分表示例

    1. 分片方式 2. 配置规则 二. 连续分片 1. 自定义数字范围分片 2. 按日期分片 3. 按单月小时分片 4. 按自然月分片 三. 离散分片 1. 枚举分片 2. 程序指定分区的分片 3. 十进制求模分片 4. 字符串hash解析...

    mycat 分库分表

    基于mycat1.6.5改进 同时支持分库分表

    mycat分片规则和算法.docx

    常用的根据主键或非主键的分片规则配置,如枚举法,固定分片hash算法,范围约定,求模法,日期列分区法,通配取模,ASCII码求模通配,编程指定,字符串拆分hash解析,一致性hash。本资源针对以上每一种算法都有详细...

    docker-mycat-mysql.zip

    基于Docker的Mycat分片及读写分离&Mysql两主四从搭建 - 使用一个t_test表做分片示意,分片规则使用mod-long - 使用一个t_task_test表做分片示意,分片规则使用sharding-by-murmur-orgcode - 采用mycat + mysql + ...

    MYCAT分库分表

    mycat分库分表+20180731+潘壮志

Global site tag (gtag.js) - Google Analytics