IKanalyzer3.2的问题

使用IKanalyzer3.2+lucene3.0搜索一个文本内容，结果只能出现一条，其实能匹配很多条，下面是源代码：

 

package com.lucene.demo;

import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.io.InputStream;
import java.io.StringReader;
import java.util.Date;
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.index.IndexReader;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.Query;
import org.apache.lucene.search.ScoreDoc;
import org.apache.lucene.search.TopScoreDocCollector;
import org.apache.lucene.search.highlight.Highlighter;
import org.apache.lucene.search.highlight.QueryScorer;
import org.apache.lucene.search.highlight.SimpleHTMLFormatter;
import org.apache.lucene.store.FSDirectory;
import org.wltea.analyzer.lucene.IKAnalyzer;
import org.wltea.analyzer.lucene.IKQueryParser;
import org.wltea.analyzer.lucene.IKSimilarity;

public class CopyOfIKanalyzerDemoToo {

 // 数据文件夹  
 private static final String DATA_DIR = "d:\\test\\file";
 // 索引存放文件夹  
 private static final String INDEX_DIR = "d:\\test\\index";
 // 字段  
 private static final String FIELD_NAME = "content";
 //是否要优化
 private static boolean optimize = true;

 public static void main(String[] args) throws Exception {
  createIndex();
//  search("共和国", "content");
 }

 public static void createIndex() throws Exception {
  boolean create = true;//是否重新创建索引文件，false：在原有的基础上追加
  Analyzer analyzer = new IKAnalyzer(); //IK中文分词器
  //创建索引
  IndexWriter indexWriter = new IndexWriter(FSDirectory.open(new File(
    INDEX_DIR)), analyzer, create,
    IndexWriter.MaxFieldLength.UNLIMITED);
  System.out.println("正在创建索引文件....");
  long startTime = new Date().getTime();
  indexDoc(indexWriter, new File(DATA_DIR));
  if (optimize) {
   indexWriter.optimize();
  }
  //最后关闭索引

  indexWriter.close();
  System.out.println("创建索引文件完成....总共花费时间:"
    + (new Date().getTime() - startTime));
 }

 public static void search(String query_str, String field) throws Exception {
  IndexReader reader = IndexReader.open(FSDirectory.open(new File(
    INDEX_DIR)), true);

  IndexSearcher searcher = new IndexSearcher(reader);

  searcher.setSimilarity(new IKSimilarity()); //在索引器中使用IKSimilarity相似度评估器

  
  Query query = IKQueryParser.parse(field, query_str); //IKQueryParser多个字段搜索 

  IKAnalyzer analyzer = new IKAnalyzer();

  TopScoreDocCollector topCollector = TopScoreDocCollector.create(
    searcher.maxDoc(), false);

  searcher.search(query, topCollector);

  ScoreDoc[] docs = topCollector.topDocs().scoreDocs;

  //关键字高亮显示的html标签，需要导入lucene-highlighter-3.0.3.jar

  SimpleHTMLFormatter simpleHTMLFormatter = new SimpleHTMLFormatter(
    "<font color='red'>", "</font>");

  Highlighter highlighter = new Highlighter(simpleHTMLFormatter,
    new QueryScorer(query));

  for (int i = 0; i < docs.length; i++) {

   Document doc = searcher.doc(docs[i].doc);

   TokenStream tokenStream1 = analyzer.tokenStream("content",
     new StringReader(doc.get("content")));

   String content = highlighter.getBestFragment(tokenStream1, doc
     .get("content"));
   System.out.println("评分:" + docs[i].score);
   System.out.println("路径:" + doc.get("path"));
   System.out.println("内容:" + content);

  }

  reader.close(); //关闭索引  

  System.out.println("总共检索到记录:" + docs.length);

 }

 private static void indexDoc(IndexWriter writer, File root) {
  // 不去索引不能读的文件  
  if (root.canRead()) {
   if (root.isDirectory()) {
    File[] files = root.listFiles();
    if (files.length != 0) {
     for (int i = 0; i < files.length; i++) {
      // 递归调用  
      indexDoc(writer, files[i]);
     }
    }
   } else {
    try {
     // 文件的文本内容  
     InputStream in = new FileInputStream(root);
     byte b[] = new byte[in.available()];
     in.read(b);
     String content = new String(b, "GBK");
     System.out.println("" + content);
     // 创建一个lucene document  
     Document d = new Document();
     // 把文件的文本内容添加进来 进行索引，保存  
     d.add(new Field(FIELD_NAME, content, Field.Store.YES,
       Field.Index.ANALYZED,
       Field.TermVector.WITH_POSITIONS_OFFSETS));
     // 同时把path也加入进来，只存储，不索引  
     d.add(new Field("path", root.getAbsolutePath(),
       Field.Store.YES, Field.Index.NOT_ANALYZED));
     // 把document写入索引文件  
     writer.addDocument(d);
     System.out.println("add file: " + root.getAbsolutePath());
    } catch (FileNotFoundException e) {
     System.out.println("file not found, ignored.");
     e.printStackTrace();
    } catch (IOException e) {

    }
   }
  }
 }

}

 结果如下：

 

中华人民共和国（英文：The People's Republic of China，通常简称为中国（英文：China）[5]，

 

位於亚洲东部、太平洋西岸，陆上从东北至西南分别与朝鲜、俄罗斯、蒙古、哈萨克斯坦、吉尔吉斯斯坦、塔吉克斯坦、
阿富汗、巴基斯坦、印度、尼泊尔、不丹、缅甸、老挝和越南等国家接壤，海上从东部至南部分别隔黄海、东海、南海与朝鲜半岛、日本列岛以及东南亚相望，是世界上陸地鄰國最多的國家，首都北京。国土辽阔，实际控制总面积约为959.67万平方千米[3]（实际管辖区域），仅次于俄罗斯、加拿大而居世界第三；陆地总面积（不計河、湖）约932.64万平方千米，仅次于俄罗斯而列世界第二[6]；中华人民共和国将行政區劃分为23个省、5个少数民族自治区、4个直辖市、以及2个特别行政区，但台湾不在中华人民共和国政府实际控制范围内（参见：台湾问题）。中华人民共和国是世界上人口最多的国家，人口总数超過13亿，佔全球人口的五分之一。境内民族众多，获得官方认可的民族有56个，其中汉族人口占绝大多数，其余55个民族被统称为少数民族。中华人民共和国境内的通用语言是汉语普通话，使用的文字是规范汉字（此即汉语簡化字），少数民族如壮族、维吾尔族、蒙古族、藏族、朝鲜族等拥有自己的文字。《中华人民共和国宪法》规定公民有宗教信仰自由，大部分公民无固定宗教信仰，部分人信仰佛教、道教、基督教和伊斯兰教等宗教。中华人民共和国共跨越五个时区，但全国皆使用單一的北京时间（东经120度）为标准时间。

《中华人民共和国宪法》规定中华人民共和国是工人阶级领导的、以工农联盟为基础的人民民主专政的社会主义国家；

 

 

搜索出来的：

 

中华人民<font color='red'>共和国</font>（英文：The People's Republic of China，通常简称为中国（英文：China）[5]，

 

位於亚洲东部、太平洋西岸，陆上从东北至西南分别与朝鲜

 

只能匹配到一行

 

 使用paoding的话，却可以匹配到多处。

评论

1 楼 hufuli 2012-03-05  

你用IK和solr结合应该就没有这个问题，估计是生成索引的时候的问题。