`
liangcmwn
  • 浏览: 16016 次
  • 性别: Icon_minigender_1
  • 来自: 南京
最近访客 更多访客>>
社区版块
存档分类
最新评论

(转)关于lucene2.0的创建、检索和删除功能的完整实现

阅读更多
    最近要做一个站内的全文检索功能,主要是针对clob字段的,于是去网上找了点lucene的资料,现在新版本的是2.0.0,网上的例子多是1.4.3的,有些方法已经废弃了,搞了n久终于把2.0.0的功能实现了,呵呵,下面把实现的代码贴出来,实现了索引的创建、检索和删除功能,并可以从检索结果去查询数据库~
// 创建索引
    public void indexFiles() {
        
// 创建索引文件存放路径
        File indexDir = new File("E:\\lucene_Learning\\lucene-2.0.0src\\src\\demo\\index");

        
try {
            Date start 
= new Date();
            
// 创建分析器,主要用于从文本中抽取那些需要建立索引的内容,把不需要参与建索引的文本内容去掉.
            
// 比如去掉一些a the之类的常用词,还有决定是否大小写敏感.
            StandardAnalyzer standardAnalyzer = new StandardAnalyzer();
            
// 参数true用于确定是否覆盖原有索引的
            IndexWriter indexWriter = new IndexWriter(indexDir, standardAnalyzer, true);
            indexWriter.setMergeFactor(
100);
            indexWriter.setMaxBufferedDocs(
100);
            
// 只索引这个Field的前5000个字,默认为10000
            indexWriter.setMaxFieldLength(5000);
            
// 从数据库取出所有纪录
            List articleList = articleManager.getArticles(null);
            
for (int i = 0; i < articleList.size(); i++{
                Article article 
= (Article) articleList.get(i);
                
// 在Document方法是创建索引的具体代码
                Document doc = Document(article);
                indexWriter.addDocument(doc);
            }

            
// Optimize的过程就是要减少剩下的Segment的数量,尽量让它们处于一个文件中.
            indexWriter.optimize();
            indexWriter.close();
            Date end 
= new Date();
            System.out.println(
"create index: " + (end.getTime() - start.getTime()) + " total milliseconds");
        }
 catch (IOException e) {
            System.out.println(
" caught a " + e.getClass() + "\n with message: " + e.getMessage());
        }

    }

    
public static Document Document(Article article)
            
throws java.io.IOException {
        Document doc 
= new Document();
        
// 为article表的主健创建索引,关于Field的几个参数下面有详细解释
        Field fieldId = new Field("uid", article.getArticleId(), Field.Store.YES, Field.Index.UN_TOKENIZED, Field.TermVector.YES);
        
// 为detail字段创建索引,detail在DB中是clob字段,内容为html文本
        String contentHtml = article.getDetail();
        Reader read 
= new StringReader(contentHtml);
        
// 用HTMLParser把detail字段中的HTML分析成文本在索引
        
// HTMLParser这个类可以在lucene的demo中找到
        HTMLParser htmlParser = new HTMLParser(read);
        BufferedReader breader 
= new BufferedReader(htmlParser.getReader());
        String htmlContent 
="";
        String tempContent 
= breader.readLine();
        
while (tempContent != null && tempContent.length() > 0{
            htmlContent 
= htmlContent + tempContent;
            tempContent 
= breader.readLine();
        }

        Field fieldContents 
= new Field("content", htmlContent,
                Field.Store.COMPRESS, Field.Index.TOKENIZED,Field.TermVector.YES);
        
// db中的每条纪录对应一个doc,每个字段对应一个field
        doc.add(fieldId);
        doc.add(fieldContents);
        
return doc;
    }

// 搜索文件,keyword是你在页面上输入的查找关键字,这里查找的是detail字段
    public List searchFiles(String keyword){
        String index 
= "E:\\lucene_Learning\\lucene-2.0.0src\\src\\demo\\index";
        
// hitsList用来保存db的纪录,这些纪录可以通过查询结果取到
        List hitsList = new ArrayList();
        
try {
            Date start 
= new Date();
            IndexReader reader 
= IndexReader.open(index);
            Searcher searcher 
= new IndexSearcher(reader);
            Analyzer analyzer 
= new StandardAnalyzer();
            QueryParser parser 
= new QueryParser("content", analyzer);
            
// 解析查询关键字,比如输入的是以空格等分开的多个查询关键字,这里解析后,可以多条件查询
            Query query = parser.parse(keyword);
            
// hits用来保存查询结果,这里的hits相当于sql中的result
            Hits hits = searcher.search(query);
            
for (int i = 0; i < hits.length(); i++{
                Document doc 
= hits.doc(i);
                
// 获得article表的主健
                String id = doc.get("uid");
                
// 根据主健去db中取纪录,返回到hitsList中
                try {
                    Article article 
= articleManager.getArticle(id);
                }
 catch (ObjectRetrievalFailureException e) {
                    article 
= null;
                }

                      
// 如果没有找到该纪录,表示该纪录已经不存在,不必添加到hitsList中
                if(article!=null) hitsList.add(article);
            }

            searcher.close();
            reader.close();
            Date end 
= new Date();
            System.out.println(
"search files: " + (end.getTime() - start.getTime()) + " total milliseconds");
        }
 catch (IOException e) {
            System.out.println(
" caught a " + e.getClass() + "\n with message: " + e.getMessage());
        }
 catch (ParseException e) {
            System.out.println(
" caught a " + e.getClass() + "\n with message: " + e.getMessage());
        }

        
return hitsList;

 // 删除索引
    public void deleteIndex(){
        String index 
= "E:\\lucene_Learning\\lucene-2.0.0src\\src\\demo\\index";
        
try {
            Date start 
= new Date();
            IndexReader reader 
= IndexReader.open(index);
            
int numFiles = reader.numDocs();
            
for (int i = 0; i < numFiles; i++{
                
// 这里的删除只是给文档做一个删除标记,你可以看到执行deleteDocument后会产生一个del后缀的文件,
                
// 用来记录这些标记过的文件
                reader.deleteDocument(i);
            }

            reader.close();
            Date end 
= new Date();
            System.out.println(
"delete index: " + (end.getTime() - start.getTime()) + " total milliseconds");
        }
 catch (IOException e) {
            System.out.println(
" caught a " + e.getClass() + "\n with message: " + e.getMessage());
        }


    }

// 恢复已删除的索引
    public void unDeleteIndex(){
        String index 
= "E:\\lucene_Learning\\lucene-2.0.0src\\src\\demo\\index";
        
try {
分享到:
评论

相关推荐

    【大搜集:lucene学习资料】---<下载不扣分,回帖加1分,欢迎下载,童叟无欺>

    基于Java的全文索引引擎.doc lucene测试代码.txt lucene为数据库搜索建立增量索引.txt lucene数据库索引.txt 新闻系统全文检索的思绪.txt ... 关于lucene2.0的创建、检索和删除功能的完整实现.doc weblucene.txt

    微信公众平台应用开发:方法、技巧与案例.(机械工业.柳峰)

     11.2.6 案例:使用Lucene索引和检索 291  11.3 中文分词 296  11.3.1 中文分词方法 296  11.3.2 IK分词器的使用 297  11.4 索引浏览器Luke 299  11.4.1 Luke的功能及下载 299  11.4.2 Luke的用法 300...

    java开源包3

    ftp4j是一个FTP客户端Java类库,实现了FTP客户端应具有的大部分功能文件(包括上传和下 载),浏览远程FTP服务器上的目录和文件,创建、删除、重命,移动远程目录和文件。ftp4j提供多种方式连接到远程FTP服务器包括...

    java开源包4

    ftp4j是一个FTP客户端Java类库,实现了FTP客户端应具有的大部分功能文件(包括上传和下 载),浏览远程FTP服务器上的目录和文件,创建、删除、重命,移动远程目录和文件。ftp4j提供多种方式连接到远程FTP服务器包括...

    JAVA上百实例源码以及开源项目

     util实现Java图片水印添加功能,有添加图片水印和文字水印,可以设置水印位置,透明度、设置对线段锯齿状边缘处理、水印图片的路径,水印一般格式是gif,png,这种图片可以设置透明度、水印旋转等,可以参考代码...

    JAVA上百实例源码以及开源项目源代码

    Java数组倒置 简单 Java图片加水印,支持旋转和透明度设置 摘要:Java源码,文件操作,图片水印 util实现Java图片水印添加功能,有添加图片水印和文字水印,可以设置水印位置,透明度、设置对线段锯齿状边缘处理、水印...

    java开源包1

    ftp4j是一个FTP客户端Java类库,实现了FTP客户端应具有的大部分功能文件(包括上传和下 载),浏览远程FTP服务器上的目录和文件,创建、删除、重命,移动远程目录和文件。ftp4j提供多种方式连接到远程FTP服务器包括...

    java开源包11

    ftp4j是一个FTP客户端Java类库,实现了FTP客户端应具有的大部分功能文件(包括上传和下 载),浏览远程FTP服务器上的目录和文件,创建、删除、重命,移动远程目录和文件。ftp4j提供多种方式连接到远程FTP服务器包括...

    java开源包2

    ftp4j是一个FTP客户端Java类库,实现了FTP客户端应具有的大部分功能文件(包括上传和下 载),浏览远程FTP服务器上的目录和文件,创建、删除、重命,移动远程目录和文件。ftp4j提供多种方式连接到远程FTP服务器包括...

    java开源包6

    ftp4j是一个FTP客户端Java类库,实现了FTP客户端应具有的大部分功能文件(包括上传和下 载),浏览远程FTP服务器上的目录和文件,创建、删除、重命,移动远程目录和文件。ftp4j提供多种方式连接到远程FTP服务器包括...

    java开源包5

    ftp4j是一个FTP客户端Java类库,实现了FTP客户端应具有的大部分功能文件(包括上传和下 载),浏览远程FTP服务器上的目录和文件,创建、删除、重命,移动远程目录和文件。ftp4j提供多种方式连接到远程FTP服务器包括...

    java开源包10

    ftp4j是一个FTP客户端Java类库,实现了FTP客户端应具有的大部分功能文件(包括上传和下 载),浏览远程FTP服务器上的目录和文件,创建、删除、重命,移动远程目录和文件。ftp4j提供多种方式连接到远程FTP服务器包括...

    java开源包8

    ftp4j是一个FTP客户端Java类库,实现了FTP客户端应具有的大部分功能文件(包括上传和下 载),浏览远程FTP服务器上的目录和文件,创建、删除、重命,移动远程目录和文件。ftp4j提供多种方式连接到远程FTP服务器包括...

    java开源包7

    ftp4j是一个FTP客户端Java类库,实现了FTP客户端应具有的大部分功能文件(包括上传和下 载),浏览远程FTP服务器上的目录和文件,创建、删除、重命,移动远程目录和文件。ftp4j提供多种方式连接到远程FTP服务器包括...

    java开源包9

    ftp4j是一个FTP客户端Java类库,实现了FTP客户端应具有的大部分功能文件(包括上传和下 载),浏览远程FTP服务器上的目录和文件,创建、删除、重命,移动远程目录和文件。ftp4j提供多种方式连接到远程FTP服务器包括...

    java开源包101

    ftp4j是一个FTP客户端Java类库,实现了FTP客户端应具有的大部分功能文件(包括上传和下 载),浏览远程FTP服务器上的目录和文件,创建、删除、重命,移动远程目录和文件。ftp4j提供多种方式连接到远程FTP服务器包括...

    Java资源包01

    ftp4j是一个FTP客户端Java类库,实现了FTP客户端应具有的大部分功能文件(包括上传和下 载),浏览远程FTP服务器上的目录和文件,创建、删除、重命,移动远程目录和文件。ftp4j提供多种方式连接到远程FTP服务器包括...

Global site tag (gtag.js) - Google Analytics