Mysql水平分表

Mysql在数据量大的情况下，会遇到水平分表的情况。
1. 根据业务属性拆表
这种分表方式的算法大致是取模，hash，md5等。
用业务属性拆表，业务关系复杂的情况下，如果要根据其他条件查询，其他的条件都必须和这个属性关联起来，查询条件必须带有这个属性。
例子：
用户profile表根据用户ID取模进行水平拆分。
社区里有群组，群组里有应用，应用有各种类型。可以用群组ID，应用ID拆表。

问题：
根据某个条件查询时无法获取拆表的属性
1)  条件中含有分表的信息
比如用户在某网站下了订单，我们根据用户ID对订单进行了分表，这样用户可以方便地查询他所关联的订单。但用户投诉时，客服需要根据订单号查询订单，订单号中可以含有分表的信息，比如订单拆分成100张表，订单号中可以有两位用来表明该订单处于哪张表中
2)  用key-value store存储对应关联
原理是用key value store做索引表
3)  数据冗余
需要关联的表可以进行数据冗余。避免了查询。
例子：
购买礼品。购买虚拟礼品时，我们根据了购买者的ID进行了拆表，同时订单号中也含有了分表信息。但是用户还可能根据被赠送方进行查询，这时我们可以在购买成功后为被赠送方冗余生成一条记录。
4)  缓存，NOSQL
和数据冗余类似。例子中提到的群组应用的拆表例子，我们已经按照群组ID和应用类型进行了分表。但是当我要查询最近所有类型的应用时，就遇到困难了。我们需要把该群组的所有应用类型都查询一遍，而且还要再进行排序，分页等等。其实，可以用缓存的方式存储最近几百条应用。

2.  根据时间拆表
当表的关系比较复杂时，无法根据某个维度进行分表。但是有明显的时效性。
例子：
想必大家都用微薄，某人发的微薄，会被推送到千家万户。所以某条微薄是无法根据用户ID进行分表查询。而微薄是有很强的时效性的。一年前的默认的动态信息是不会再关心的。我们把微薄按时间分表，三个月一张表。而行级缓存（memcached）只存储了一个月。用户微薄收件箱（微薄ID列表）一般都是限长的。当缓存服务器重启或不命中时，需要查询Mysql，mysql按时间分表，缓存不命中的情况下，大部分情况下都是查近三个月的微薄。所以近1年的微薄我们可以存储在物理资源比较好的数据库服务器上。

3.  根据自增长ID拆表
这种分割法不是取模分，而是每张表存指定量的数据。如果数据量到了，就存放到新表中。这样可以完全控制每张表的数据量。关系非常简单并且有时效性的情况下可以用。

4. 数据迁移的方式
当一些很久之前的数据，很少再查询。比如员工工资表，我们可以只存今年的工资情况。而历史数据我们可以迁移到一张salary_old表中,保证数据不会丢失。但也可以用来查询。

分库的原理也类似。

评论

2 楼 ldd600 2011-03-07  

抢街饭 写道

没有看见我想要的啊  拆分统计楼主有什么见解吗

我们现在采用的方案。
1.计数统计，直接存为key value的形式。
2.线下统计：对所有表进行分析，统计程序写起来很复杂，头痛。这种方式只适合根据简单sql或存储过程就可以分析出来的数据。
3.统计收集：如果统计程序写起来相当复杂的，可以把数据按方便的格式存储到可以存大数据量的数据库或文件系统中。我现在把统计数据异步地存储到了mongodb。这样分析程序起来就简单了，格式存储的好可以支持实时查询都没问题。

1 楼 抢街饭 2011-03-03  

没有看见我想要的啊  拆分统计楼主有什么见解吗