使用 mmseg4j 1.9.1 使用的是 lucene 4.3 没问题。
package com.artbulb.search.utils; import java.io.StringReader; import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.TokenStream; import org.apache.lucene.analysis.tokenattributes.CharTermAttribute; import com.chenlb.mmseg4j.analysis.MaxWordAnalyzer; public class Test { public static void main(String[] args)throws Exception { //下面这个分词器,是经过修改支持同义词的分词器 //Analyzer analyzer = new ComplexAnalyzer(); //Analyzer analyzer = new StandardAnalyzer(Version.LUCENE_47); // Analyzer analyzer = new SimpleAnalyzer(Version.LUCENE_47); Analyzer analyzer = new MaxWordAnalyzer(); String text="goods_zone_bate"; TokenStream ts=analyzer.tokenStream("field", new StringReader(text)); CharTermAttribute term=ts.addAttribute(CharTermAttribute.class); ts.reset();//重置做准备 while(ts.incrementToken()){ System.out.println(term.toString()); } ts.end();// ts.close();//关闭流 } }
如果使用lucene 4.7 需要注释 ts.reset();
package com.artbulb.search.utils; import java.io.StringReader; import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.TokenStream; import org.apache.lucene.analysis.tokenattributes.CharTermAttribute; import com.chenlb.mmseg4j.analysis.MaxWordAnalyzer; public class Test { public static void main(String[] args)throws Exception { //下面这个分词器,是经过修改支持同义词的分词器 //Analyzer analyzer = new ComplexAnalyzer(); //Analyzer analyzer = new StandardAnalyzer(Version.LUCENE_47); // Analyzer analyzer = new SimpleAnalyzer(Version.LUCENE_47); Analyzer analyzer = new MaxWordAnalyzer(); String text="goods_zone_bate"; TokenStream ts=analyzer.tokenStream("field", new StringReader(text)); CharTermAttribute term=ts.addAttribute(CharTermAttribute.class); // ts.reset();//重置做准备 while(ts.incrementToken()){ System.out.println(term.toString()); } ts.end();// ts.close();//关闭流 } }
相关推荐
在com.chenlb.mmseg4j.analysis包里扩展lucene analyzer。 MMSegAnalyzer默认使用max-word方式分词(还有:ComplexAnalyzer, SimplexAnalyzer, MaxWordAnalyzer)。
mmseg4j分词,比较精确,可以跟lucene里面用
mmseg4j用Chih-Hao Tsai 的MMSeg算法实现的中文分词器,并实现lucene的analyzer和solr的TokenizerFactory以方便在Lucene和Solr中使用。 MMSeg 算法有两种分词方法:Simple和Complex,都是基于正向最大匹配。Complex...
能兼容solr-4.10.2的分词器,大礼包...包括IK分词器,mmseg4j分词器,庖丁分词器.都是经本人测试可用,其中mmseg4j与庖丁都是下载源码,修改重编译并测试生成的.希望大家喜欢.至于与solr的整合方式,网上很多,这里就不介绍了.
lucene整合mmseg4j实例,内置lucene项目实例.
基于Lucene的中文分词器代码paoding,IK,imdict,mmseg4j。测试可运行,输入一个段落,每个分词器的分词结果不同,可得到结果和所需时间。
mmseg4j 2.3 源码 Lucene 中文分词器
lucene中文分词 mmseg4j-1.8.5与lucene3.1兼容
mmseg4j1.8.4分词工具,可以方便的集成在lucene后者solr中。
lucene全文检索4.6.0基础jar包、lucene全文检索4.6.0基础jar包lucene全文检索4.6.0基础jar包
mmseg4j 2.3 jar包 lucene中文分词器
mmseg4j-1.9.1分词器,找了很久才找到,共享一下!
里面包含了mmseg4j-solr-2.0.0.jar,mmseg4j-solr-2.1.0.jar,mmseg4j-solr-2.2.0.jar,mmseg4j-solr-2.3.0.jar总共4个文件,其中: mmseg4j-solr-2.0.0.jar 要求 lucene/solr >= 4.3.0。在 lucene/solr [4.3.0, 4.7.1]...
solr 分词器 mmseg4j IKAnalyzer
使用Lucene开发需要的jar包,是4.6.0版本,IK分词器支持的jar包
lucene官网: http://lucene.apache.org ... https://code.google.com/p/mmseg4j/ (mmseg4j-1.9.1.v20130120-SNAPSHOT.zip) 查看分词库: http://code.google.com/p/luke/downloads/list (lukeall-4.0.0-ALPHA.jar )
Lucene4.6版本,适用于Lucene的所有研究,以及中文分词功能
本人从搜狗词库下载后转化为Lucene中文分词所需的词库,里面搜集的都是官方推荐的内容本人亲测可用。使用Solr5.2.1测试
lucene中文分词工具包,自己用ant编译成功的。可以进行定制的分词器,同义词开发。作为工具包使用。官网没有提供,组要自己编译,方便用传上来