`

Hibernate Shards - 关系数据库水平分割解决方案框架

阅读更多

1。水平分割:按记录进分分割,不同的记录可以分开保存,每个子表的列数相同。

水平分割通常在下面的情况下使用:

A 表很大,分割后可以降低在查询时需要读的数据和索引的页数,同时也降低了索引的层数,提高查询速度。

B 表中的数据本来就有独立性,例如表中分别记录各个地区的数据或不同时期的数据,特别是有些数据常用,而另外一些数据不常用。

C需要把数据存放到多个介质上。

例如法规表law就可以分成两个表active-law和 inactive-law。activea-authors表中的内容是正生效的法规,是经常使用的,而inactive-law表则使已经作废的法规,不常被查询。水平分割会给应用增加复杂度,它通常在查询时需要多个表名,查询所有数据需要union操作。在许多数据库应用中,这种复杂性会超过它带来的优点,因为只要索引关键字不大,则在索引用于查询时,表中增加两到三倍数据量,查询时也就增加读一个索引层的磁盘次数。

2。垂直分割:按列进行分割,即把一条记录分开多个地方保存,每个子表的行数相同。

把主码和一些列放到一个表,然后把主码和另外的列放到另一个表中。如果一个表中某些列常用,而另外一些列不常用,则可以采用垂直分割,另外垂直分割可以使得数据行变小,一个数据页就能存放更多的数据,在查询时就会减少I/O 次数。其缺点是需要管理冗余列,查询所有数据需要join操作。 

例如有表T1
id  name  qty
--------------
1  p1    10
2  p2    20
3  p3    30
4  p4    40
......
......

垂直分割就是按列进行分割,即把一条记录分开多个地方保存,每个子表的行数相同。
例如表T1,可以把id和name放到数据文件p1,把qty放到数据文件p2。

水平分割就是按记录进分分割,不同的记录可以分开保存,每个子表的列数相同。
像表T1,可以把id为单数的放到数据文件P1,双数的放到数据文件P2

表散列与水平分割相似,但没有水平分割那样的明显分割界限,
它由哈希函数和键值决定一条记录的保存文件,这样是为了IO更加均衡。

分布式数据库技术一般可以从2个方面来实现,纵向分割和横向分割。

所谓纵向分割,即以数据库表为单位进行分割,不同的数据库表存储在不同的数据库里。例如:有数据库表1,2,3,4,5,6;其中表1,2存储在数据库A中,表3,4,5,6存储在数据库B,这样的分割方案便是纵向分割。
所谓横向分割,即让同一个表的数据分别存储在不同的数据库中。例:表1中前10000条数据存储在数据库A中,10001-20000条数据存储在数据库B中,...

数据库分布式是一个比较复杂的技术,需要经过充分设计和验证。
Hibernate Shards是一个Hibernate应用横向分割的分布式数据库解决方案的框架。它可以让一个Hibernate应用比较简单地加入横向分割的数据库分布式功能。

Hibernate Shards主要有以下特点:
1,沿袭Hibernate标准编程模型 - 也就是说如果你已经熟悉了Hibernate,那么也就会了Hibernate Shards,不必要学习新的Hibernate Shards使用方法
2,柔软的分割策略 - 你可以使用默认的分割方法,也可以定义你自己的分割策略
3,支持Virtual Shards - 你可以简单地修改分隔策略,Hibernate Shards的此特性让你简单地重新分割你的数据
4,免费,开放源代码 -  Hibernate Shards发布在LGPL (Lesser GNU Public License)授权之下

查看Hibernate Shards快速开发指南,通过它你可以了解怎么样使用Hibernate Shards对数据进行横向分割。


Hibernate Shards:
http://www.hibernate.org/414.html
Hibernate Shards英文文档:
http://www.hibernate.org/hib_docs/shards/reference/en/html/

数据库中的水平分割和垂直分割http://blog.csdn.net/haydenwang8287/archive/2010/02/24/5321600.aspx

hibernate shards源自google的一个工程师小团队的20%项目。它提供一个对数据库水平分割的解决方案。
hibernate shards是对hibernate core进行了扩展,降低了复杂度。从概念上可以分成2部分。
1、基础逻辑
该部分对
• org.hibernate.Session
• org.hibernate.SessionFactory
• org.hibernate.Criteria
• org.hibernate.Query
进行了扩展。
• org.hibernate.shards.session.ShardedSession
• org.hibernate.shards.ShardedSessionFactory
• org.hibernate.shards.criteria.ShardedCriteria
• org.hibernate.shards.query.ShardedQuery
你可以很方便的使用就像普通的hibernate应用。
2、应用逻辑部分
提供三个接口,用来处理具体的实现策略
• org.hibernate.shards.strategy.selection.ShardSelectionStrategy
• org.hibernate.shards.strategy.resolution.ShardResolutionStrategy
• org.hibernate.shards.strategy.access.ShardAccessStrategy
ShardAccessStrategy:
获取数据的策略,目前已经包含的实现有:
SequentialShardAccessStrategy:顺序策略
ParallelShardAccessStrategy:并发策略
如果你想只取某一个库,目前你只能通过取具体的数据库的SessionFactory。目前在策略里还不支持取其中的某个或某几个库,暂时是所有
数据库都参与。
ShardSelectionStrategy:
当一个新数据保存时,决定存储到那个数据库。
ShardResolutionStrategy:
当数据修改后,判断同步到哪一个数据库。


官方文档

http://docs.jboss.org/hibernate/stable/shards/reference/en/html/index.html

分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics