Freyja的查询缓存功能详解

freyja作为项目中取代hibernate的ORM框架很符合我的心意，原本来说hibernate对开发效率基本没什么提升，而hibernate的执行效率来说本身属于比较慢的一类。

 

这类框架都属于JDBC的一层封装，在性能方面，能体现出价值的地方就在于如何利用好缓存。针对项目本身不需要集群、分库。freyja从设计一开始就少了许多负担。

 

查询缓存作为ORM框架中的重要一环，在此我写一点我对查询缓存的理解和freyja里面对查询缓存的做法

 

一开始确实是对查询缓存这块异想天开了，仔细分析之后发现只处理得了单表的查询缓存。还不能去支持部分函数，支持的sql如：

 

select * from user

select name,level from user

select name,level from user where level > 1 .....

select name,level from user where level in (1,2,3)

。

。

。

不支持的如：

select name from user where id in (select ........)

 

联表查询实在是烦杂。

 

在freyja里面，每一句hql都会被解析成一个HqlMapping

 

public class HqlMapping {

	public final static int BeanPropertyRowMapper = 1;
	public final static int MapRowMapper = 2;
	public final static int ObjectRowMapper = 3;

	public String hql;
	public String sql;
	public int jdbcParameterNumber = 0;
	public List<Join> joins = new ArrayList<Join>();

	public Select select;
	public Update update;
	public Delete delete;

	public boolean single = true;

	public BeanInfo<?> bi;

	public int rowMapperType = 0;

	public List<String> queryCacheSelectKeys = new ArrayList<String>();
	public List<String> queryCacheWhereKeys = new ArrayList<String>();
	
	public String where;
	public String selectSQL;
	public boolean supportEhcacheSearch = true;
	public boolean supportQueryCache = true;
}

 

 

里面有记录一些需要的信息 如 是否支持查询缓存、是否支持ehcache搜索、是否是单表、where条件字符串是什么、where条件中列的keyWords、select keyWords

 

在find()方法里面会把HQL等条件转化为一个key

 

String key = hql + "#" + first + "#" + max + "#" + type + "#"+ createKey(args);

 

这个key就对应一个结果集存在cache中。同时还需要存入一些条件key在不同的缓存中。

 

拿比较简单的HQL语句分析：

 

表中有这么几个记录：

id name age level

1  'a'      12   1

2  'b'      15   2

3  'c'      16   2

 

"select name,age from user where level = 2"

 

查询出来的结果为

'b' 15

'c'  16

 

保存的select key word为 name和age

where key word 为 level

 

这么做是因为能改变这条sql结果集的是由这3个key word构成的。

 

他们被放在cache中，结构为 Map<String, List<QueryKeys>>

一个字段对应多条查询缓存结果集。意思是，改变一个字段的值可能修改多个结果集的结果。

 

public class QueryKeys {

	public String keyString;//hql语句
	public String elString;   //where条件
	public List<String> selectKeys;
	public List<String> whereKeys;

}

 

 

 

这样，准备工作就完毕了。然后是update的时候如何维护缓存。

 

记录变动分为：insert(T) update(T) save(T)delete(T) executeUpdate(HQL)

executeUpdate其实就是 update(T)  因为在查询缓存中只支持单表.

 

当一条记录发生变动的时候

<T> void updateQueryCache(BeanInfo<?> bi, T t)方法会维护缓存的变化。

 

遍历查询缓存，得到

 

Map<String, List<QueryKeys>>再对每条记录遍历处理QueryKeys对象。

 

QueryKeys里面保存着 where条件：elString 如："select name,age from user where level = 2" =>elString : "level ==2"

 

然后利用国产神器：Lite 表达式引擎，带入变量判断是否满足条件。

 

 

Map properties = new HashMap();
MethodUtil.populate(t, properties, bi, qk.whereKeys);
org.xidea.el.Expression el = factory.create(qk.elString);
Boolean booleanObj = (Boolean) el.evaluate(properties);

 

 如此一来根据逻辑分析，就能知道缓存是否失效。

 

 

				if (booleanObj) {
					List list = (List) cacheOperation
							.getFormQueryCache(qk.keyString);
					if (list == null) {
						continue;
					}
					if (list.contains(t)) {//这条记录存在结果集中的时候
						if (qk.selectKeys.size() != 0) {//虽然记录存在结果集并且满足条件。但是因为修改了缓存结果，导致缓存失效。
							cacheOperation.removeQueryCache(qk.keyString);
							System.out.println("移除 elString:" + qk.elString);
							System.out.println("移除 cache:" + qk.keyString);
							il.add(qk);
						}
					} else {//这条记录不存在结果集中的时候，说明结果集多了一条记录。则移除查询缓存
						cacheOperation.removeQueryCache(qk.keyString);
						System.out.println("移除 elString:" + qk.elString);
						System.out.println("移除 cache:" + qk.keyString);
						il.add(qk);
					}
				} else {
					List list = (List) cacheOperation
							.getFormQueryCache(qk.keyString);
					if (list == null) {
						continue;
					}
					if (list.contains(t)) {//说明原本属于结果集的记录条件改变后改变了结果集内容，查询缓存失效。
						cacheOperation.removeQueryCache(qk.keyString);
						System.out.println("移除 elString:" + qk.elString);
						System.out.println("移除 cache:" + qk.keyString);
						il.add(qk);
					}
				}

 

 

这个里面有一个待优化的内容，

如："select name,age from user where level = 2"

 

如果是"update user set id = 6 where level = 2" 这么一条HQL，事实上是没有改变任何一个缓存结果集的。但是因为没有类似于Hibernate的动态update功能，不知道update(T) 实质上改变了哪些字段，所以没法区分只能统一移除。

当然， executeUpdate(HQL)是可以修改下改进改进的。

 

 

*****查询缓存暂时就这么多内容了。联表查询之类的就交给数据库吧。

 

后面会想办法增加动态update功能、会把ehcache search替代为Lite表达式引擎。

 

下面有最近的src和bin jar。测试项目在前面的篇幅有提供下载。

 

评论

1 楼 aa87963014 2011-11-26  

有一个问题。String 如何转换成Date？