- 浏览: 495190 次
- 性别:
- 来自: 广州
文章分类
最新评论
-
来这里学java:
...
实战篇:设计自己的Annotation -
yushui2000:
突然想到一种方法,就是1、2、2、3、4、5作为5个球(类似彩 ...
一道算法题目,值得一看 -
wst0350:
理解力
实战篇:设计自己的Annotation -
yingzhor:
楼下的,你看看代码不就知道怎么验证了吗?这不是放在sessio ...
利用servlet生成简单的验证码 -
ming_7755:
妙用Commons良药<三>
说明一下,这一篇文章的用到的lucene,是用2.0版本的,主要在查询的时候2.0版本的lucene与以前的版本有了一些区别.
其实这一些代码都是早几个月写的,自己很懒,所以到今天才写到自己的博客上,高深的文章自己写不了,只能记录下一些简单的记录与点滴,其中的代码算是自娱自乐的,希望高手不要把重构之类的砸下来...
1、在windows系统下的的C盘,建一个名叫s的文件夹,在该文件夹里面随便建三个txt文件,随便起名啦,就叫"1.txt","2.txt"和"3.txt"啦
其中1.txt的内容如下:
而"2.txt"和"3.txt"的内容也可以随便写几写,这里懒写,就复制一个和1.txt文件的内容一样吧
2、下载lucene包,放在classpath路径中
建立索引:
索引的结果:
3、建立了索引之后,查询啦....
其运行结果:
具体的API的用法,这里就不说了,具体的做法参考lucene的官方文档吧...
下一篇文章:
搜索篇:lucene的简单实例<二> http://www.iteye.com/post/190576
过一排可能会写一个,代码是在八九月份写的,是一个简单的demo;
当初在lucene和compass之间权衡选择,后来选择了compass.同组的一个伙伴就负责的;
我只是看了compass简单的一些东西,做了一个简单的eXtremeComponents+compass+SSH的demo,有空的时候再共享上来啦...
乐意帮忙啊,这一排有些忙,推后一些日子再写啰
还没有真正地在项目运用lucene
中文的切分词各家有各家的难题啊,不过这一方向研究的人慢慢地多啦,解决的方法会越来越优的
btw:讨论的人多了,很有意思啦,有一点念头想成立一个关于lucene,compass,stripes的圈子
看这一篇文章,里面有讲一些
http://hi.baidu.com/netpet/blog/item/4fb2d2c42a2ef7cb38db49b5.html
只是用过网上一些公开的分词包,java版的fenci,AutoSplit等几个分词,测试一下速度和其他一些数据,具体的实现没有研究过。二元分词法,lucene有提供,好像叫CJKAnalyzer..
中文分词的算法的实现工具,目前应该最好一个应该是C语言版ICTCLAS,中国科学院什么所研究的
说明一下,这一篇文章的用到的lucene,是用2.0版本的,主要在查询的时候2.0版本的lucene与以前的版本有了一些区别.
主要区别在什么地方啊,从你的代码看,方法好像是一样?
打一个例子吧,
这是lucene2.0的API
这是lucene1.4.3版的API
详细的改动看一些官方的文档就清楚啦
其实这一些代码都是早几个月写的,自己很懒,所以到今天才写到自己的博客上,高深的文章自己写不了,只能记录下一些简单的记录与点滴,其中的代码算是自娱自乐的,希望高手不要把重构之类的砸下来...
1、在windows系统下的的C盘,建一个名叫s的文件夹,在该文件夹里面随便建三个txt文件,随便起名啦,就叫"1.txt","2.txt"和"3.txt"啦
其中1.txt的内容如下:
中华人民共和国 全国人民 2006年
而"2.txt"和"3.txt"的内容也可以随便写几写,这里懒写,就复制一个和1.txt文件的内容一样吧
2、下载lucene包,放在classpath路径中
建立索引:
package lighter.iteye.com; import java.io.BufferedReader; import java.io.File; import java.io.FileInputStream; import java.io.IOException; import java.io.InputStreamReader; import java.util.Date; import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.standard.StandardAnalyzer; import org.apache.lucene.document.Document; import org.apache.lucene.document.Field; import org.apache.lucene.index.IndexWriter; /** * author lighter date 2006-8-7 */ public class TextFileIndexer { public static void main(String[] args) throws Exception { /* 指明要索引文件夹的位置,这里是C盘的S文件夹下 */ File fileDir = new File("c:\\s"); /* 这里放索引文件的位置 */ File indexDir = new File("c:\\index"); Analyzer luceneAnalyzer = new StandardAnalyzer(); IndexWriter indexWriter = new IndexWriter(indexDir, luceneAnalyzer, true); File[] textFiles = fileDir.listFiles(); long startTime = new Date().getTime(); //增加document到索引去 for (int i = 0; i < textFiles.length; i++) { if (textFiles[i].isFile() && textFiles[i].getName().endsWith(".txt")) { System.out.println("File " + textFiles[i].getCanonicalPath() + "正在被索引...."); String temp = FileReaderAll(textFiles[i].getCanonicalPath(), "GBK"); System.out.println(temp); Document document = new Document(); Field FieldPath = new Field("path", textFiles[i].getPath(), Field.Store.YES, Field.Index.NO); Field FieldBody = new Field("body", temp, Field.Store.YES, Field.Index.TOKENIZED, Field.TermVector.WITH_POSITIONS_OFFSETS); document.add(FieldPath); document.add(FieldBody); indexWriter.addDocument(document); } } //optimize()方法是对索引进行优化 indexWriter.optimize(); indexWriter.close(); //测试一下索引的时间 long endTime = new Date().getTime(); System.out .println("这花费了" + (endTime - startTime) + " 毫秒来把文档增加到索引里面去!" + fileDir.getPath()); } public static String FileReaderAll(String FileName, String charset) throws IOException { BufferedReader reader = new BufferedReader(new InputStreamReader( new FileInputStream(FileName), charset)); String line = new String(); String temp = new String(); while ((line = reader.readLine()) != null) { temp += line; } reader.close(); return temp; } }
索引的结果:
File C:\s\1.txt正在被索引.... 中华人民共和国全国人民2006年 File C:\s\2.txt正在被索引.... 中华人民共和国全国人民2006年 File C:\s\3.txt正在被索引.... 中华人民共和国全国人民2006年 这花费了297 毫秒来把文档增加到索引里面去!c:\s
3、建立了索引之后,查询啦....
package lighter.iteye.com; import java.io.IOException; import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.standard.StandardAnalyzer; import org.apache.lucene.queryParser.ParseException; import org.apache.lucene.queryParser.QueryParser; import org.apache.lucene.search.Hits; import org.apache.lucene.search.IndexSearcher; import org.apache.lucene.search.Query; public class TestQuery { public static void main(String[] args) throws IOException, ParseException { Hits hits = null; String queryString = "中华"; Query query = null; IndexSearcher searcher = new IndexSearcher("c:\\index"); Analyzer analyzer = new StandardAnalyzer(); try { QueryParser qp = new QueryParser("body", analyzer); query = qp.parse(queryString); } catch (ParseException e) { } if (searcher != null) { hits = searcher.search(query); if (hits.length() > 0) { System.out.println("找到:" + hits.length() + " 个结果!"); } } } }
其运行结果:
引用
找到:3 个结果!
具体的API的用法,这里就不说了,具体的做法参考lucene的官方文档吧...
下一篇文章:
搜索篇:lucene的简单实例<二> http://www.iteye.com/post/190576
评论
27 楼
Tin
2006-12-26
好文,把lucene说的好简单,平易近人:D
26 楼
shaucle
2006-12-26
太好了
25 楼
lighter
2006-12-25
shaucle 写道
果真是简单实例...
精典入门篇,不知有兴趣写compass的没
精典入门篇,不知有兴趣写compass的没
过一排可能会写一个,代码是在八九月份写的,是一个简单的demo;
当初在lucene和compass之间权衡选择,后来选择了compass.同组的一个伙伴就负责的;
我只是看了compass简单的一些东西,做了一个简单的eXtremeComponents+compass+SSH的demo,有空的时候再共享上来啦...
24 楼
icekzl
2006-12-25
很荣幸...
自己刚刚上路,能发现如此量身的帖子..谢谢..
自己刚刚上路,能发现如此量身的帖子..谢谢..
23 楼
shaucle
2006-12-22
果真是简单实例...
精典入门篇,不知有兴趣写compass的没
一次性读流的话(不是边读边写),这里还有个方法,不知管用否:
精典入门篇,不知有兴趣写compass的没
一次性读流的话(不是边读边写),这里还有个方法,不知管用否:
private static byte[] readAsByte(InputStream in)throws IOException { byte[] content = new byte[(int) in.available()]; try { in.read(content, 0, content.length); } finally { closeSilently(in); } return content; }
public static String read(String fileName) throws IOException { return read(new FileInputStream(fileName)); } public static String read(InputStream in, String encoding) throws IOException { return new String(readAsByte(in), encoding); }
22 楼
lighter
2006-12-22
江南白衣 写道
lighter,方便的话,为springside wiki的lucene条目编写一些文档? :)
乐意帮忙啊,这一排有些忙,推后一些日子再写啰
21 楼
ouspec
2006-12-22
已经开了lucene专栏
http://www.iteye.com/subject/Lucene
期待更多精彩内容
http://www.iteye.com/subject/Lucene
期待更多精彩内容
20 楼
江南白衣
2006-12-22
.......
19 楼
lighter
2006-12-21
windyboy 写道
我前端时间也在做lucene方面的事情,主要是帮论坛做搜索
关于中文切分词也研究过一下,之前网上流传的那个海量的词库,如果在java中用的话,也是可以的,但是发现对于某些特殊字符会抛出异常,究竟是dll的问题,还是JNI的问题也就没有深究。
后来的解决方法是找了一个词典文件,做了一个树状结构,效率还是相当的高的。
后来遇到的主要问题在于对于大量的数据,如果使用磁盘的索引形式会大大影响索引效率,后来用了折中的办法,让近期的帖子放在内存中,时间长的放在磁盘上。虽然说解决了一部分问题,但觉得还是不理想,不知道大家在使用过程中是否也遇到了同样的问题?如何解决的?
关于中文切分词也研究过一下,之前网上流传的那个海量的词库,如果在java中用的话,也是可以的,但是发现对于某些特殊字符会抛出异常,究竟是dll的问题,还是JNI的问题也就没有深究。
后来的解决方法是找了一个词典文件,做了一个树状结构,效率还是相当的高的。
后来遇到的主要问题在于对于大量的数据,如果使用磁盘的索引形式会大大影响索引效率,后来用了折中的办法,让近期的帖子放在内存中,时间长的放在磁盘上。虽然说解决了一部分问题,但觉得还是不理想,不知道大家在使用过程中是否也遇到了同样的问题?如何解决的?
还没有真正地在项目运用lucene
中文的切分词各家有各家的难题啊,不过这一方向研究的人慢慢地多啦,解决的方法会越来越优的
btw:讨论的人多了,很有意思啦,有一点念头想成立一个关于lucene,compass,stripes的圈子
18 楼
balaschen
2006-12-21
中文分词,如果不追求索引文件大小的话,一个汉字一个汉字的切分就可以了,对于词组的查询,可以转换成对短语的查询,比如查询 中国,可转成“中国”,采用一个字一个字切分,最大的好处就是简单,查全率高,坏处就是查准率稍微低点,比如上面的例子会把“发展中国家”也查出来,使用特定的分词算法,要牺牲点效率,带来的好处就是索引文件小,查准率高,但由于中文分词不可能100%准确,总存在歧义,查全率差点。个人认为非internet的应用,数据量非天量的情况,用一个汉字一个汉字切分的方法,足以应付绝大多数应用。我们一个法律法规查询的系统,就采用这种方式,用了快两年,客户从没抱怨过什么问题。
17 楼
galaxystar
2006-12-21
好像跟ajax and lucene书上差不多!不错很经典的说!
16 楼
lighter
2006-12-21
limx 写道
Field 这个类 2.0做了修改?
请楼主讲讲2.0相对以前都有哪些改进
请楼主讲讲2.0相对以前都有哪些改进
看这一篇文章,里面有讲一些
http://hi.baidu.com/netpet/blog/item/4fb2d2c42a2ef7cb38db49b5.html
15 楼
znjq
2006-12-21
中文主要看分词库和对应的算法,lucene自带的中文Analyzer是简单二元分词法,效果并不好
14 楼
toyota2006
2006-12-21
成啊!
13 楼
limx
2006-12-21
Field 这个类 2.0做了修改?
请楼主讲讲2.0相对以前都有哪些改进
请楼主讲讲2.0相对以前都有哪些改进
12 楼
lighter
2006-12-21
Lucas Lee 写道
那如果没有一个可用的中文分词算法,那lucene目前对我们搞中文应用的,没有直接的意义咯?
我倒是看到lucene2.0里有对中文专门处理的一个包,尚没深入研究。
另外,我看到一些资料说,简单二元分词法,虽然粗糙,但是简单可用,不依赖于词典,例如:中国人民,会分词为"中国","国人","人民"。
我倒是看到lucene2.0里有对中文专门处理的一个包,尚没深入研究。
另外,我看到一些资料说,简单二元分词法,虽然粗糙,但是简单可用,不依赖于词典,例如:中国人民,会分词为"中国","国人","人民"。
只是用过网上一些公开的分词包,java版的fenci,AutoSplit等几个分词,测试一下速度和其他一些数据,具体的实现没有研究过。二元分词法,lucene有提供,好像叫CJKAnalyzer..
11 楼
LucasLee
2006-12-21
那如果没有一个可用的中文分词算法,那lucene目前对我们搞中文应用的,没有直接的意义咯?
我倒是看到lucene2.0里有对中文专门处理的一个包,尚没深入研究。
另外,我看到一些资料说,简单二元分词法,虽然粗糙,但是简单可用,不依赖于词典,例如:中国人民,会分词为"中国","国人","人民"。
我倒是看到lucene2.0里有对中文专门处理的一个包,尚没深入研究。
另外,我看到一些资料说,简单二元分词法,虽然粗糙,但是简单可用,不依赖于词典,例如:中国人民,会分词为"中国","国人","人民"。
10 楼
lighter
2006-12-21
Lucas Lee 写道
还不错啦。
不过代码的示例作用有限,大概只能运行起来而已。是不是能处理中文的检索,我特别关心中文分词的算法。
不过代码的示例作用有限,大概只能运行起来而已。是不是能处理中文的检索,我特别关心中文分词的算法。
中文分词的算法的实现工具,目前应该最好一个应该是C语言版ICTCLAS,中国科学院什么所研究的
9 楼
LucasLee
2006-12-21
还不错啦。
不过代码的示例作用有限,大概只能运行起来而已。是不是能处理中文的检索,我特别关心中文分词的算法。
不过代码的示例作用有限,大概只能运行起来而已。是不是能处理中文的检索,我特别关心中文分词的算法。
8 楼
lighter
2006-12-21
balaschen 写道
引用
说明一下,这一篇文章的用到的lucene,是用2.0版本的,主要在查询的时候2.0版本的lucene与以前的版本有了一些区别.
主要区别在什么地方啊,从你的代码看,方法好像是一样?
打一个例子吧,
这是lucene2.0的API
QueryParser qp = new QueryParser("body", analyzer); query = qp.parse(queryString);
这是lucene1.4.3版的API
query = QueryParser.parse(key,queryString,new new StandardAnalyzer());
详细的改动看一些官方的文档就清楚啦
发表评论
-
TestNG系列2:TestNG初接触
2008-04-18 22:52 3513首先来看一个非常简单 ... -
TestNG系列1:TestNG简介及插件
2008-04-18 22:19 6341一、什么是TestNG 引用TestNG是根据JUnit 和 ... -
用jdbcTempate调用存储过程,处理BLOB/CLOB小记
2007-11-06 00:20 90351、利用spring的jdbcTemplate调用存储过程 假 ... -
怎样利用spring简单地发送邮件
2007-11-03 16:45 3787SMTP:简单邮件传输协议,用于发送电子邮件的传输协议. PO ... -
搜索篇:Struts、Lucene的Web实例
2007-01-15 23:10 7923代码是网上下载的,有兴趣的可以看一下 这里用到的Lucene是 ... -
复习笔记:利用spring的BeanName简化事务管理配置
2006-12-30 00:27 6148常常在项目开发时候,很多目标bean需要生成事务代理,当然可以 ... -
Stripes 快速入门指南[翻译]
2006-12-27 18:56 10438说明:这是Stripes文档中的一篇叫Quick Start ... -
搜索篇:lucene简单实例<二>
2006-12-20 23:09 10704写文章的时候,感觉比较难写的就是标题,有时候不知道起什么名字好 ... -
搜索篇:lucene简单实例<二>
2006-12-20 23:00 123写文章的时候,感觉比较难写的就是标题,有时候不知道起什么名字好 ... -
一个比较完整的ANT实例
2006-12-19 19:41 8347Ant是一种专为java量身订做的构建工具,基础已经了java ... -
对struts2的的一些不满
2006-11-12 01:06 2970个人对struts2的一些不满的地方 1、基本大部分全抄web ... -
从webwork2.2.4迁移到struts2
2006-11-12 00:47 2575注:(originally posted on the Web ... -
webwork2.2到struts2的变化
2006-11-12 00:44 2177While Struts 2 started with the ... -
反思spring:由Ruby on Rails想到的
2006-10-23 09:33 3226[size=11] 众所周知,RoR里面的指导原则有: 第 ... -
关于jboss,weblogic的配置
2006-05-26 22:28 3446###################以下是jboss的配置# ... -
[转载] 无所不能的“蚂蚁”--Ant
2006-06-05 23:27 3808说他无所不能,好像有点夸张,但是用过Ant之后,感觉真的是只有 ... -
Hibernate, Java 5 and DAO[转]
2006-08-04 17:54 2458... -
研究一下springside的核心部分源代码
2006-09-15 19:47 6965这两天,有一些时间,研究一下springside的源代码,结 ...
相关推荐
Java搜索引擎的研究与实现(含文档+源码)<br>目录 1<br>摘要 3<br>第一章 引言 4<br>第二章 搜索引擎的结构 5<br>2.1系统概述 5<br>2.2搜索引擎的构成 5<br>2.2.1网络机器人 5<br>2.2.2索引与搜索 5<br>2.2.3 Web...
lucene实例lucene实例lucene实例lucene实例lucene实例lucene实例lucene实例lucene实例lucene实例
开发自己的搜索引擎《lucene2.0+heritrix》一书对应的源码资料,总共有30M,只上传了几个例子.<br>ch2-lucene入门小例子<br>myReserch-可用的网络搜索引擎
赠送jar包:lucene-core-7.7.0.jar; 赠送原API文档:lucene-core-7.7.0-javadoc.jar; 赠送源代码:lucene-core-7.7.0-sources.jar; 赠送Maven依赖信息文件:lucene-core-7.7.0.pom; 包含翻译后的API文档:lucene...
Java的俄语和英语形态叉 这是Alexander.A.Kuznetsov编写的针对Java和Lucene 3.0框架的俄语和英语形态的分支。 它已更新为可与Lucene 4.0及更高版本一起使用。... <groupId>org.motovs.lucene.morpholo
将它添加到您的 Maven 项目的pom.xml : < dependency> < groupId>com.snowtide</ groupId> < artifactId>lucene-pdf</ artifactId> < version>3.0.0</ version></ dependency> 或者,将上述 Maven 工件坐标添加到...
来自“猎图网 www.richmap.cn”基于IKAnalyzer分词算法的准商业化Lucene中文分词器。<br>1. 正向全切分算法,42万... 对未知词汇采用自识别结合二元切分算法,确保搜索召回率<br>(使用方法请参考IKAnalyzer V1.1版)
Lucene Query Tool (lqt) 是一个命令行工具用来执行 Lucene 查询并对结果进行格式化输出。 使用方法: $ ./lqt usage: LuceneQueryTool [options] --analyzer <arg> for query, (KeywordAnalyzer | ...
笔记: 该项目需要一个依赖项,即截至撰写本文时,该依赖项还不在公共Maven存储库中:<dependency><groupId>vn.hus</groupId><artifactId>nlp-tokenizer</artifactId><version>4.1.1</version></dependency> 在将其...
使输出数据的格式定义更灵活<br> * 修改了日志评论的静态存储结构加入了索引路径,使其更符合SEO<br> * 取消了不成熟的外挂搜索引擎接口<br> * 开放了搜索页的直接地址,可以被搜索引擎找到<br><br>更多资料请访问官方...
<br>Lucene的作者:Lucene的贡献者Doug Cutting是一位资深全文索引/检索专家,曾经是V-Twin搜索引擎(Apple的Copland操作系统的成就之一)的主要开发者,后在Excite担任高级系统架构设计师,目前从事于一些INTERNET...
LoremIpsum搜索 包含与 lucene 和 solr 一起使用的搜索算法... export CLASSPATH="<lucene>/lucene/replicator/lib/*:<nutch>/build/*:<nutch>/build/lib/*:<lucene>/solr/dist/*:<lucene>/solr/ dist/solrj-lib/*:*:.
lucene实例lucene实例lucene实例lucene实例lucene实例
Lucene简单实例记录 简单Luncene的示例应用
Lucene搜索实例,Lucene,Lucene
1.43 博文链接:https://lighter.iteye.com/blog/47592
Lucene学习总结之一:全文检索的基本原理 Lucene学习总结之二:Lucene的总体架构 Lucene学习总结之三:Lucene的索引文件格式(1) Lucene学习总结之三:Lucene的索引文件格式(2) Lucene学习总结之三:Lucene的...
Lucene索引器实例Lucene索引器实例Lucene索引器实例Lucene索引器实例
[开发自己的搜索引擎:Lucene.Heritrix(第2版)].邱哲.扫描版.pdf
通过lucene创建索引,然后进行各种搜索