- 浏览: 158237 次
- 性别:
- 来自: 北京
最新评论
-
w156445045:
我最近想写这方面的论文,学位论文啊,哎。希望博主能给点思路,谢 ...
《Lucene+Nutch搜索引擎》看过以后。。。 -
inprice:
这也要研究啊!!!!! 失望ing.........
完成了对于heritrix的初步研究 -
dt_fb:
您好,我想问问您,你有跳过recrawl.sh这个脚本文件么? ...
Nutch开源搜索引擎的crawl日志分析及工作目录说明 -
lovepoem:
能增量吗?是不是还是把所有的url遍历出来。和以前的对比。算是 ...
Nutch开源搜索引擎增量索引recrawl的终极解决办法 -
itang:
见到牛人照片了, MS下巴动过刀(开玩笑)
搜索引擎名人堂之Jeff Dean
Analysis 包分析
算法和数据结构分析 :
由于 Analysis 包比较简单 , 不详述了 !
算法 : 基于机械分词 1-gram,2-gram,HMM( 如果使用 ICTCLAS 接口的话 )
数据结构 : 部分源码用到了 Set ,HashTable,HashMap
认真理解 Token
Lucene 中的 Analysis 包专门用于完成对于索引文件的分词 .Lucene 中的 Token 是一个非常重要的概念 .
看一下其源码实现:
public final class Token {
String termText; // the text of the term
int startOffset; // start in source text
int endOffset; // end in source text
String type = "word"; // lexical type
private int positionIncrement = 1;
public Token(String text, int start, int end)
public Token(String text, int start, int end, String typ)
public void setPositionIncrement(int positionIncrement)
public int getPositionIncrement() { return positionIncrement; }
public final String termText() { return termText; }
public final int startOffset() { return startOffset; }
public void setStartOffset(int givenStartOffset)
public final int endOffset() { return endOffset; }
public void setEndOffset(int givenEndOffset)
public final String type() { return type; }
public String toString()
}
下面编一段代码来看一下
TestToken.java
package org.apache.lucene.analysis.test;
import org.apache.lucene.analysis.*;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import java.io.*;
public class TestToken
{
public static void main(String[] args)
{
String string = new String(" 我爱天大 , 但我更爱中国 ");
//Analyzer analyzer = new StandardAnalyzer();
Analyzer analyzer = new TjuChineseAnalyzer();
//Analyzer analyzer= new StopAnalyzer();
TokenStream ts = analyzer.tokenStream("dummy",new StringReader(string));
Token token;
try
{
int n=0;
while ( (token = ts.next()) != null)
{
System.out.println((n++)+"->"+token.toString());
}
}
catch(IOException ioe)
{
ioe.printStackTrace();
}
}
} 注意看其结果如下所示
0->Token's (termText,startOffset,endOffset,type,positionIncrement) is:( 我 ,0,1,<CJK>,1)
1->Token's (termText,startOffset,endOffset,type,positionIncrement) is:( 爱 ,1,2,<CJK>,1)
2->Token's (termText,startOffset,endOffset,type,positionIncrement) is:( 天 ,2,3,<CJK>,1)
3->Token's (termText,startOffset,endOffset,type,positionIncrement) is:( 大 ,3,4,<CJK>,1)
4->Token's (termText,startOffset,endOffset,type,positionIncrement) is:( 但 ,5,6,<CJK>,1)
5->Token's (termText,startOffset,endOffset,type,positionIncrement) is:( 我 ,6,7,<CJK>,1)
6->Token's (termText,startOffset,endOffset,type,positionIncrement) is:( 更 ,7,8,<CJK>,1)
7->Token's (termText,startOffset,endOffset,type,positionIncrement) is:( 爱 ,8,9,<CJK>,1)
8->Token's (termText,startOffset,endOffset,type,positionIncrement) is:( 中 ,9,10,<CJK>,1)
9->Token's (termText,startOffset,endOffset,type,positionIncrement) is:( 国 ,10,11,<CJK>,1)
注意 : 其中 ”,” 被 StandardAnalyzer 给过滤掉了 , 所以大家注意第 4 个 Token 直接 startOffset 从 5 开始 .
如果改用 StopAnalyzer()
0->Token's (termText,startOffset,endOffset,type,positionIncrement) is:( 我爱天大 ,0,4,word,1)
1->Token's (termText,startOffset,endOffset,type,positionIncrement) is:( 但我更爱中国 ,5,11,word,1)
改用 TjuChineseAnalyzer( 我写的 , 下文会讲到如何去写 )
0->Token's (termText,startOffset,endOffset,type,positionIncrement) is:( 爱 ,3,4,word,1)
1->Token's (termText,startOffset,endOffset,type,positionIncrement) is:( 天大 ,6,8,word,1)
2->Token's (termText,startOffset,endOffset,type,positionIncrement) is:( 更 ,19,20,word,1)
3->Token's (termText,startOffset,endOffset,type,positionIncrement) is:( 爱 ,22,23,word,1)
4->Token's (termText,startOffset,endOffset,type,positionIncrement) is:( 中国 ,25,27,word,1)
讲明白了 Token, 咱们来看以下其他的东西
一个 TokenStream 是用来走访 Token 的 iterator( 迭代器 )
看一下其源代码 :
public abstract class TokenStream {
public abstract Token next() throws IOException;
public void close() throws IOException {}
}
一个 Tokenizer , is-a TokenStream (派生自 TokenStream ),其输入为 Reader
看一下其源码如下:
public abstract class Tokenizer extends TokenStream {
protected Reader input;
protected Tokenizer() {}
protected Tokenizer(Reader input) {
this.input = input;
}
public void close() throws IOException {
input.close();
}
}
一个 TokenFilter is–a TokenStream( 派生自 TokenStream) ,其义如名就是用来完成对 TokenStream 的过滤操作,譬如
去 StopWords ,将 Token 变为小写等。
源码如下:
public abstract class TokenFilter extends TokenStream {
protected TokenStream input;
protected TokenFilter() {}
protected TokenFilter(TokenStream input) {
this.input = input;
}
public void close() throws IOException {
input.close();
}
}
一个 Analyzer 就是一个 TokenStream 工厂
看一下其源码就:
public abstract class Analyzer {
public TokenStream tokenStream(String fieldName, Reader reader)
{
return tokenStream(reader);
}
public TokenStream tokenStream(Reader reader)
{
return tokenStream(null, reader);
}
}
好,现在咱们来看一下 Lucene 的 Analysis 包下面的各个类文件都是用来干什么的。按照字典排序。
Analysis 包中的源码详解
Analyzer.java 上文已经讲过。
CharTokenizer.java 此类为简单一个抽象类,用来对基于字符的进行简单分词( tokenizer )
LetterTokenizer.java 两个非字符之间的字符串定义为 token (举例来说英文单词由空白隔开,那个两个空白之间的字符串即被定义为一个 token 。备注:对于绝大多数欧洲语言来说,这个类工作效能很好。当时对于不用空白符分割的亚洲语言 , 效能极差(譬如中日韩)。)
LowerCaseFilter.java is-a TokenFilter 用于将字母小写化
LowerCaseTokenizer is-a Tokenizer 功能上等价于 LetterTokenizer + LowerCaseFilter
PerFieldAnalyzerWrapper 是一个 Analyzer ,因为继承自 Analyzer 当不同的域( Field )需要不同的语言分析器( Analyzer )时,这个 Analyzer 就派上了用场。使用成员函数 addAnalyzer 可以增加一个非缺省的基于某个 Field 的 analyzer 。很少使用。
PorterStemFilter.java 使用词干抽取算法对每一个 token 流进行词干抽取。
PorterStemmer.java 有名的 P-stemming 算法
SimpleAnalyzer.java
StopAnalyzer.java 具有过滤停用词的功能
StopFilter.java StopFilter 为一个 Filter ,主要用于从 token 流中去除 StopWords
Token.java 上面已讲 .
TokenFilter.java 上面已经讲了
Tokenizer.java 上面已经讲了
TokenStream.java 上面已经讲了
WhitespaceAnalyzer.java
WhitespaceTokenizer.java 只是按照 space 区分 Token.
由于 Lucene 的 analyisis 包下的 Standard 包下的 StandardAnalyzer() 功能很强大 , 而且支持 CJK 分词 , 我们简要说一下 .
此包下的文件是有 StandardTokenizer.jj 经过 javac 命令生成的 . 由于是机器自动生成的代码 , 可能可读性很差 , 想了解的话好好看看那个 StandardTokenizer.jj 文件就会比较明了了 .
Lucene 常用的 Analyzer 功能概述 .
WhitespaceAnalyzer: 仅仅是去除空格,对字符没有 lowcase 化 , 不支持中文
SimpleAnalyzer: 功能强于 WhitespaceAnalyzer, 将除去 letter 之外的符号全部过滤掉 , 并且将所有的字符 lowcase 化 , 不支持中文
StopAnalyzer:StopAnalyzer
的功能超越了
SimpleAnalyzer
,在
SimpleAnalyzer
的基础上
增加了去除
StopWords
的功能
,
不支持中文
StandardAnalyzer: 英文的处理能力同于 StopAnalyzer. 支持中文采用的方法为单字切分 .
ChineseAnalyzer: 来自于 Lucene 的 sand box. 性能类似于 StandardAnalyzer, 缺点是不支持中英文混和分词 .
CJKAnalyzer:chedong
写的
CJKAnalyzer
的功能在英文处理上的功能和
StandardAnalyzer
相同
但是在汉语的分词上,不能过滤掉标点符号,即使用二元切分
TjuChineseAnalyzer: 我写的 , 功能最为强大 .TjuChineseAnlyzer 的功能相当强大 , 在中文分词方面由于其调用的为 ICTCLAS 的 java 接口 . 所以其在中文方面性能上同与 ICTCLAS. 其在英文分词上采用了 Lucene 的 StopAnalyzer, 可以去除 stopWords, 而且可以不区分大小写 , 过滤掉各类标点符号 .
各个 Analyzer 的功能已经比较介绍完毕了 , 现在咱们应该学写 Analyzer, 如何 diy 自己的 analyzer 呢 ??
如何 DIY 一个 Analyzer
咱们写一个 Analyzer, 要求有一下功能
(1) 可以处理中文和英文 , 对于中文实现的是单字切分 , 对于英文实现的是以空格切分 .
(2) 对于英文部分要进行小写化 .
(3) 具有过滤功能 , 可以人工设定 StopWords 列表 . 如果不是人工设定 , 系统会给出默认的 StopWords 列表 .
(4) 使用 P-stemming 算法对于英文部分进行词缀处理 .
代码如下 :
public final class DiyAnalyzer
extends Analyzer
{
private Set stopWords;
public static final String[] CHINESE_ENGLISH_STOP_WORDS =
{
"a", "an", "and", "are", "as", "at", "be", "but", "by",
"for", &quo
发表评论
-
Nutch1.0开源搜索引擎与Paoding在eclipse中用plugin方式集成(终极篇)
2009-09-14 13:15 4290本文主要描述的是如何将paoding分词用plugi ... -
Nutch1.0的那些事
2009-09-10 12:37 2157很久没有更新博客了,应该快一年了。现在呢,我把去年 ... -
配置linux服务器之间ssh不用密码访问
2008-11-05 13:55 3877在配置nutch的时候,我 ... -
搜索引擎术语
2008-10-15 15:30 2506最近monner兄共享了一篇 ... -
搜索引擎机器人研究报告
2008-10-13 15:35 1902从该文对googlebot的分析看,googlebot似乎是想 ... -
搜索引擎算法研究
2008-10-13 15:11 20961.引言 万维网WWW(World Wide Web ... -
谁说搜索引擎只关注结果-看我viewzi的72变
2008-10-04 20:15 1801搜索引擎给大家的感觉,就是用起来简单,以google为首,一个 ... -
《Lucene+Nutch搜索引擎》看过以后。。。
2008-10-03 23:42 7605研究搜索引擎技术快一 ... -
微软有趣的人物关系搜索引擎——人立方
2008-10-03 20:00 3904最近,微软亚洲研究院 ... -
Nutch开源搜索引擎增量索引recrawl的终极解决办法(续)
2008-09-28 19:30 3447十一要放假了,先祝广大同学们节日快乐! 在之前的一篇文章中, ... -
Nutch:一个灵活可扩展的开源web搜索引擎
2008-09-28 11:46 2228在网上找到一篇于2004年11月由CommerceNet La ... -
Google公司都是些什么牛人?
2008-09-27 17:31 2024Google公司都是些什么牛人? 1 Vi ... -
搜索引擎名人堂之Doug Cutting
2008-09-27 11:41 2602Doug Cutting是一个开源搜索技术的提倡者和创造者。他 ... -
Nutch开源搜索引擎增量索引recrawl的终极解决办法
2008-09-26 19:12 5138本文重点是介绍Nutch开源搜索引擎如何在Hadoop分布式计 ... -
Nutch开源搜索引擎与Paoding中文分词用plugin方式集成
2008-09-26 15:31 4572本文是我在集成中文分词paoding时积累的经验,单独成一篇文 ... -
关于Hadoop的MapReduce纯技术点文章
2008-09-24 18:10 3476本文重点讲述Hadoop的整 ... -
MapReduce-免费午餐还没有结束?
2008-09-24 09:57 1460Map Reduce - the Free Lunch is ... -
搜索引擎名人堂之Jeff Dean
2008-09-22 15:09 14914最近一直在研究Nutch,所以关注到了搜索引擎界的一些名人,以 ... -
Lucene与搜索引擎技术(Document包详解)
2008-09-22 14:54 1692Document 包分析 理解 ... -
Lucene的查询语法
2008-09-22 14:53 1382原文来自:http://liyu2000.nease.net/ ...
相关推荐
基于Lucene的搜索引擎的研究与应用基于Lucene的搜索引擎的研究与应用
解密搜索引擎技术实战Lucene&Java精华版(第3版)源码 书名:解密搜索引擎技术实战Lucene&Java精华版(第3版) 作者:罗刚 等编著 出版社:电子工业出版社 关键词:Lucene solr 搜索引擎 Lucene实战 随书源码 本书随...
基于lucene的搜索引擎regain安装版
基于Lucene的一个财经类网页搜索引擎,对于Lucene爱好者与新手来说,是个很不错的东东哦,呵呵。
lucene搜索引擎配置,从载入文件,建立索引,搜索三步让你知道lucene搜索的核心技术
基于LUCENE的搜索引擎的设计与实现源代码..
对网络搜索引擎技术进行简要研究,学习搜索引擎完成搜索工作的整个流程中涉及的各种技术,并采用开源工具Nutch、Lucene实现一个简单的搜索引擎,具体功能如下: 1、熟悉网络爬虫程序,采用开源的爬虫工具采集指定...
Lucene搜索引擎开发权威经典(附盘源码)【于天恩】.zip
基于java的Lucene全文搜索引擎资源简单实例下载
解密搜索引擎技术实战Lucene&Java精华版(第3版)源码 书名:解密搜索引擎技术实战Lucene&Java精华版(第3版) 作者:罗刚 等编著 出版社:电子工业出版社 关键词:Lucene solr 搜索引擎 Lucene实战 随书源码 本书随...
解密搜索引擎技术实战Lucene&Java精华版(第3版)源码 书名:解密搜索引擎技术实战Lucene&Java精华版(第3版) 作者:罗刚 等编著 出版社:电子工业出版社 关键词:Lucene solr 搜索引擎 Lucene实战 随书源码 本书随...
Lueene是一个强大的全文索引引擎工具包,应用它可以快速地开发一个搜索引擎。介绍了基于英特 网的中文搜索引擎的系统结构,Lucene的索引和搜索,并且设计实现了一个自己的搜索引擎——易搜中文搜 索引擎。结果表明,...
实时搜索引擎源码LUCENE 实时搜索引擎源码LUCENE 实时搜索引擎源码LUCENE
最初写本搜索引擎技术书籍的想法萌生于两年前,当时的场景是要给团队成员做搜索技术培 训,但是我找遍了相关图书,却没有发现非常合适的搜索技术入门书籍。当时市面上的书籍, 要么是信息检索理论方面的专著,理论性...
Lucene作为一个全文检索引擎,其具有如下突出的优点: (1)索引文件格式独立于应用平台。Lucene定义了一套以8位字节为基础的索引文件格式,使得兼容系统或者不同平台的应用能够共享建立的索引文件。 (2)在...
struts2.3 spring3.2 mybatis3.2 lucene4.2搜索引擎
本包是最新的2.3版本的,java语言编写,是最著名的阿贾克斯项目组开发的,非常难找到的。