lucene的检索算法属于索引检索,即用空间来换取时间,对需要检索的文件、字符流进行全文索引,在检索的时候对索引进行快速的检索,得到检索位置,这个位置记录检索词出现的文件路径或者某个关键词。
lucene 在存储它的全文索引结构时,是有层次结构的,这涉及到5个层次:索引(Index);段(Segment);文档(Document);域(Field);词(Term),他们的关系如下图所示:(lucene 索引存储结构概念图)
下图是Lucene生成的索引的一个实例,右边是对这5个层次的描述:
| Lucene的索引结构是有层次结构的,主要分以下几个层次:
- 索引(Index):
- 一个目录一个索引,在Lucene中一个索引是放在一个文件夹中的。
- 如左图,同一文件夹中的所有的文件构成一个Lucene索引。
- 段(Segment):
- 一个索引可以包含多个段,段与段之间是独立的,添加新文档可以生成新的段,不同的段可以合并。
在建立索引的时候对性能影响最大的地方就是在将索引写入文件的时候, 所以在具体应用的时候就需要对此加以控制,段(Segment) 就是实现这种控制的。稍后详细描述段(Segment) 的控制策略。 - 如上图,具有相同前缀文件的属同一个段,图中共两个段 "_0" 和 "_1"。
- segments.gen和segments_5是段的元数据文件,也即它们保存了段的属性信息。
- 文档(Document):
- 文档是我们建索引的基本单位,不同的文档是保存在不同的段中的,一个段可以包含多篇文档。
- 新添加的文档是单独保存在一个新生成的段中,随着段的合并,不同的文档合并到同一个段中。
- 域(Field):
- 一篇文档包含不同类型的信息,可以分开索引,比如标题,时间,正文,作者等,都可以保存在不同的域里。
- 不同域的索引方式可以不同。
- 词(Term):
- 词是索引的最小单位,是经过词法分析和语言处理后的字符串。
|
Lucene的索引结构中,即保存了正向信息,也保存了反向信息。
所谓正向信息:
- 按层次保存了从索引,一直到词的包含关系:索引(Index) –> 段(segment) –> 文档(Document) –> 域(Field) –> 词(Term)
- 也即此索引包含了那些段,每个段包含了那些文档,每个文档包含了那些域,每个域包含了那些词。
- 既然是层次结构,则每个层次都保存了本层次的信息以及下一层次的元信息,也即属性信息,比如一本介绍中国地理的书,应该首先介绍中国地理的概况,以及中国包含多少个省,每个省介绍本省的基本概况及包含多少个市,每个市介绍本市的基本概况及包含多少个县,每个县具体介绍每个县的具体情况。
- 如上图,包含正向信息的文件有:
- segments_N保存了此索引包含多少个段,每个段包含多少篇文档。
- XXX.fnm保存了此段包含了多少个域,每个域的名称及索引方式。
- XXX.fdx,XXX.fdt保存了此段包含的所有文档,每篇文档包含了多少域,每个域保存了那些信息。
- XXX.tvx,XXX.tvd,XXX.tvf保存了此段包含多少文档,每篇文档包含了多少域,每个域包含了多少词,每个词的字符串,位置等信息。
所谓反向信息:
- 保存了词典到倒排表的映射:词(Term) –> 文档(Document)
- 如上图,包含反向信息的文件有:
- XXX.tis,XXX.tii保存了词典(Term Dictionary),也即此段包含的所有的词按字典顺序的排序。
- XXX.frq保存了倒排表,也即包含每个词的文档ID列表。
- XXX.prx保存了倒排表中每个词在包含此词的文档中的位置。
段(Segment) 的控制策略
在建立索引的时候对性能影响最大的地方就是在将索引写入文件的时候, 所以在具体应用的时候就需要对此加以控制:
Lucene默认情况是每加入10份文档(Document)就从内存往index文件写入并生成一个段(Segment) ,然后每10个段(Segment)就合并成一个段(Segment). 这些控制的变量如下:
IndexWriter属性 | 默认值 | 描述 |
MergeFactory | 10 | 控制segment合并的频率和大小 |
MaxMergeDocs | Int32.MaxValue | 限制每个segment中包含的文档数 |
MinMergeDocs | 10 | 当内存中的文档达到多少的时候再写入segment |
MaxMergeDocs用于控制一个segment文件中最多包含的Document数.比如限制为100的话,即使当前有10个segment也不会合并,因为合并后的segment将包含1000个文档,超过了限制。
MinMergeDocs用于确定一个当内存中文档达到多少的时候才写入文件,该项对segment的数量和大小不会有什么影响,它仅仅影响内存的使用,进一步影响写索引的效率。
参考资料:
第三节 Lucene索引文件格式分析
http://hi.baidu.com/hustwk/blog/item/133bd2333f867047ad4b5fd0.html
Lucene学习总结之三:Lucene的索引文件格式(1)
http://www.cnblogs.com/forfuture1978/archive/2009/12/14/1623597.html
Lucene学习总结之三:Lucene的索引文件格式(2)
http://www.cnblogs.com/forfuture1978/archive/2009/12/14/1623599.html
Lucene入门与使用
http://blog.csdn.net/mxz391/archive/2007/05/15/1610140.aspx
Lucene 源代码剖析-4 索引文件结构(1)
http://www.cnblogs.com/eaglet/archive/2009/02/13/1390033.html
开放源代码的全文检索引擎Lucene
http://www.lucene.com.cn/about.htm
Lucene:基于Java的全文检索引擎简介
http://www.chedong.com/tech/lucene.html
Lucene应用架构分析
http://book.51cto.com/art/200807/80198.htm
浅谈Lucene架构——开源搜索架构(二)
http://swanmsg.blog.sohu.com/112470914.html
lucene.net的索引的建立(三): 建立索引的问题
http://tech.ddvip.com/2008-10/122337481074843.html
分享到:
相关推荐
Lucene 概述,视频教程详解,带课程章节文档 Lucene 概述
对了解Lucene的系统结构非常有帮助.
lucene索引结构原理
lucene,lucene教程,lucene讲解。 为了对文档进行索引,Lucene 提供了五个基础的类 public class IndexWriter org.apache.lucene.index.IndexWriter public abstract class Directory org.apache.lucene.store....
lucene查看索引结构,简易工具,3.0版本
lucene实例lucene实例lucene实例lucene实例lucene实例lucene实例lucene实例lucene实例lucene实例
非常详细的Lucene文档
自己写的一个lucene知识点集合,里面有一些常用的查询与创建,有我自己加的注释
lucene3.0 lucene3.0 lucene3.0 lucene3.0 lucene3.0
lucene学习lucene学习lucene学习lucene学习lucene学习lucene学习lucene学习lucene学习lucene学习lucene学习lucene学习lucene学习lucene学习lucene学习lucene学习lucene学习lucene学习lucene学习lucene学习lucene学习...
第一章 Lucene是个倒排索引 第二章 Lucene与数据库 第三章 Lucene的索引建立及文件结构 第四章 Lucene的检索机制及文档得分 第五章 Lucene的存储优化 第六章 Lucene的效率优化 第七章 用Lucene加快web开发!
AzureDirectory, Azure存储的Lucene目录提供程序 用于 Lucene.Net的 AzureDirectory库这里项目的fork: 更新了和Azure存储客户端版本 2.1.0.3的更新。项目描述Lucene.Net 是一种健壮的开源搜索技术,它具有一个抽象...
Lucene3.0特性Lucene3.0特性
本文并给出一个经典的lucene全文收索例子代码。该例子功能是从磁盘文档建立索引,搜索该文档中的哪个TXT文件包含所搜索内容。最后再大致介绍Lucene的结构模块,应用流程希望对网友能有帮助。
开源项目Lucene的架构详细解析.pdf
将源中需要的信息加入Document的各个Field中,并把需要索引的Field索引起来,把需要存储的Field存储起来。 将索引写入存储器,存储器可以是内存或磁盘。 2.2读出流程 用户提供搜索关键词,经过analyzer处理。 对...
Lucene 常用功能介绍,视频详解,带课程文档Lucene 常用功能介绍
lucene学习教程lucene讲义 叫你用lucene算法
lucene3源码分析
本课程由浅入深的介绍了Lucene4的发展历史,开发环境搭建,分析lucene4的中文分词原理,深入讲了lucenne4的系统架构,分析lucene4索引实现原理及性能优化,了解关于lucene4的搜索算法优化及利用java结合lucene4实现...