`
white182517
  • 浏览: 161832 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

初识Lucene

    博客分类：
  • java
luceneIBMCMS工作J#
阅读更多

前言

        目前处于工作交接阶段，比较清闲，花了几天时间看了Lucene，了解一下这个老总一直说要用之来解决项目中的问题的东东。Lucene的原理相对简单，有几篇文章很好地进行了介绍，见参考资料，这里只是按自己的理解整理一下。Lucene In Action对具体的细节有比较深入的介绍，遗憾的是该书是针对1.x版本的，新版本有很多变化，不过不影响对其原理的理解。 

        要想从海量数据中快速地查找需要的信息，比如用户想要通过Amazon查找需要的图书，最有效的方式就是建立索引，然后基于这些索引就可以快速的定位信息。  

        Lucene是一个开源的组件包，具体的应用可以基于这个组件包提供索引构建和信息搜索功能。

        使用Lucene主要包含两个步骤，一是构建索引，二是基于索引进行搜索。这两个步骤通常是两个分离的进程，最常用的作法是后台构建索引，前台提供搜索支持。

        Lucene的索引构建是基于文本文件的，如果要针对其他数据源，如数据库记录进行索引，必须进行一些预处理，Lucene本身提供对PDF,WORD等文件类型的解析器。

        构建索引的过程有一个比较关键的步骤是分词技术，Lucene发布包不提供对中文分词的支持，不过目前处于SandBox阶段有一个中文分词实现。如果要提高搜索的性能和质量，必须针对特定的应用实现自己的分词器。

实践

        写了一个简单的示例，试用了一下Lucene，基于lucene2.1.0版本，需要下载该版本的jar文件，包含在类路径即可，因为要测试中文检索，所以还需要从lucene官网下载中文的分词包。

        示例基于这样一个场景，要能很方便的根据名称查找我机器上的MP3文件，必须支持模糊查询，为了方便测试，我准备了四个mp3文件，分别是堕落天使.mp3，没你的日子.mp3，如果你还爱我.mp3，天堂.mp3。

        Mp3Searcher类主要包含两个方法，buildIndex主要用来基于上述MP3文件构建索引，目前这些索引保存在RAMDirectory中，这是一个基于内存的索引存储，运行完毕不会持久化。search方法接受一个查询字符串，返回查找结果。

java 代码
  1. public class Mp3Searcher   
  2. {   
  3.     public static final String DATA_DIR = "E:\\temp\\mp3";   
  4.   
  5.     protected static Log log = LogFactory.getLog(Mp3Searcher.class);   
  6.   
  7.     private RAMDirectory directory = null;   
  8.        
  9.     private ChineseAnalyzer analyzer = null;   
  10.   
  11.     public Mp3Searcher()   
  12.     {   
  13.         directory = new RAMDirectory();   
  14.         analyzer = new ChineseAnalyzer();   
  15.     }   
  16.   
  17.     /**  
  18.      * 查询指定歌名的结果  
  19.      *   
  20.      * @throws IOException  
  21.      * @throws ParseException   
  22.      */  
  23.     public Hits search( String name) throws IOException, ParseException   
  24.     {   
  25.         IndexSearcher searcher = new IndexSearcher(directory);   
  26.         QueryParser parser = new QueryParser("name",analyzer);   
  27.         return searcher.search(parser.parse(name));   
  28.     }   
  29.   
  30.     // 构建索引   
  31.     public void buildIndex( String dataDir) throws IOException   
  32.     {   
  33.            
  34.         IndexWriter writer = new IndexWriter(directory, analyzer, true);   
  35.   
  36.         // 遍历所有的mp3文件，添加到索引文件中   
  37.         Collection files = FileUtils.listFiles(new File(DATA_DIR),   
  38.                 new String[] { "mp3" }, false);   
  39.         if (files != null)   
  40.         {   
  41.   
  42.             Iterator iterator = files.iterator();   
  43.             Document doc = null;   
  44.             File file = null;   
  45.             while (iterator.hasNext())   
  46.             {   
  47.                 file = (File) iterator.next();   
  48.                 doc = new Document();   
  49.                 doc.add(new Field("name", FilenameUtils.getBaseName(file   
  50.                         .getAbsolutePath()), Field.Store.YES,   
  51.                         Field.Index.TOKENIZED));   
  52.                 writer.addDocument(doc);   
  53.   
  54.                 log.debug("index file " + file.getName());   
  55.             }   
  56.         }   
  57.         writer.optimize();   
  58.         writer.close();   
  59.     }   
  60.   
  61. }  

测试用例如下：

java 代码
  1. public class Mp3SearcherTest extends TestCase   
  2. {   
  3.     private Mp3Searcher searcher = new Mp3Searcher();   
  4.        
  5.     public void setUp() throws Exception   
  6.     {   
  7.         searcher.buildIndex(Mp3Searcher.DATA_DIR);   
  8.     }   
  9.        
  10.     public void testSearch() throws Exception   
  11.     {   
  12.         Hits results = searcher.search("没你的日子");   
  13.         assertEquals(1,results.length());   
  14.            
  15.         Document doc = results.doc(0);   
  16.         assertEquals("没你的日子",doc.getField("name").stringValue());   
  17.            
  18.         results = searcher.search("天");   
  19.         assertEquals(2,results.length());   
  20.            
  21.         doc = results.doc(0);   
  22.         assertNotNull(doc);      
  23.            
  24.     }   
  25. }  

总结

Lucene提供一个非常简单易用的API，可以很容易的基于其构建搜索引用，同时也提供很好的扩展。要构建一个成熟的产品级应用，还需要做很多工作，主要包括如何实现针对特定领域的分词技术来提高索引的质量，索引的大小。

如何基于数据库进行索引

        很多应用的数据都是存储在数据库中的，比如china-pub的所有的书籍目录，CMS中的客户资料。如何针对这些数据来源构建搜索应用呢？

        可以建一个后台进程，在闲时构建增量索引，比如每天晚上12点。这种方式不能保证实时查询到最新录入的数据，搜索会有一定的延迟，但是大多数这种应用都能接受这种延迟。如果要在每次增加新的数据时构建索引，会极大的影响应用的性能。

参考资料

www.ibm.com/developerworks/cn/java/j-lo-lucene1/

www.ibm.com/developerworks/cn/java/wa-lucene/

www.iteye.com/topic/70305

分享到：
| 试用JBoss Rules
评论
2 楼 dd350356750 2008-09-12  
资料不错。谢谢楼主分享
1 楼 leefangzhao 2007-07-11  
很不错，言简意赅
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

Magicbox
Global site tag (gtag.js) - Google Analytics