资讯频道 → 编程语言
阅读更多

12顶
0踩

编程语言

原创新闻 中文分词 mmseg4j-1.8 版发布

2009-10-19 09:43 by 见习记者 chenlb 评论(14) 有7250人浏览
Solr lucene

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

想发布新版的 mmseg4j 到现在已经有二个多月了。主要是因为这段时间忙其它事情了。现 Lucene 2.9 发布了，solr 1.4 也应该会比较快就要发布了。对 mmseg4j 兼容新版的 lucene/solr 也是个任务。

 

现 mmseg4j 发布新版 1.8，可以下载：mmseg4j-1.8.zip 包括了源码与词库，还有创建文件。下面说下此版的主要变更：

 

new:

 

1、有检测词典变更的接口，外部程序可以使用 wordsFileIsChange() 和 reload() 来完成检测与加载的工作. (内部不实现自动检测与加载，留给外部程序去做。)

 

2、添加 MMseg4jHandler 类，可以在solr中用url的方式来控制加载检测词库。

 

3、增加 CutLetterDigitFilter过虑器，切分“字母和数”混在一起的过虑器。比如：mb991ch 切为 "mb 991 ch"。

 

changes:

 

1、默认在 classpath 中加载 data 目录（词库目录），找不到再找 user.dir/data 目录。但是优先 mmseg.dic.path 系统属性指定的。

 

2、新词库，去除 sogou 高频无词性的词，合并 rmmseg 提供的词（是 mmseg4j 1.0 使用的词库），共计（14W 多词）。

 

3、数字或英文开头的数字或英文不独立分出。如 MB991CH/A 分为 mb991ch a，cq40-519tx 分为 CQ40 519TX

 

4、内置支持小写，不需要 LowerCaseFilter 了。MMSegAnalyzer 去除了小写过虑。

 

5、支持 solr 1.3/1.4、lucene 2.3/2.4/2.9

 

6、尝试加载 jar 里的 words.dic，并构建含有 words.dic 的 jar(mmseg4j-*-with-dic.jar)。

 

bugs:

 

1、Dictionary 添加 finalize 方法。修正 tomcat reload 时 OOM 的 bug: http://code.google.com/p/mmseg4j/issues/detail?id=4

 

2、MMSegTokenizer 在 lucene 2.4 编译的 在 lucene 2.9 中会报 java.lang.NoSuchFieldError: input。bug: http://code.google.com/p/mmseg4j/issues/detail?id=5

 

 

详情：http://blog.chenlb.com/2009/10/chinese-segment-mmseg4j-1_8-release.html

 

12
顶
0
踩
评论 共 14 条 请登录后发表评论
14 楼 chenlb 2009-10-21 16:28
发现一个 Bug: http://code.google.com/p/mmseg4j/issues/detail?id=8

使用 lucene highlighter 异常。token 的 Offset 没有处理好。
13 楼 whaosoft 2009-10-20 20:36
感谢啊,现在公益事业很少人做啊
12 楼 keer2345 2009-10-20 20:35
      
11 楼 maku 2009-10-20 08:57
结果是
引用

耗时：0毫秒
一次 性交 多少钱

我觉得这个结果是没问题的，如果分成了
引用

耗时：0毫秒
一次性 交多少钱

这就不是分词了，该叫“分句”了。
10 楼 01404421 2009-10-20 08:54
支持LZ继续努力！
9 楼 lenky0401 2009-10-19 19:02
qizhan 写道
fxsjy 写道
分词在线演示，Google App Engine:

http://smallseg.appspot.com/smallseg




“一次性交多少钱”

测试下来不理想！


测试得到结果：这个分词程序比较邪恶？
8 楼 chenlb 2009-10-19 15:11
fxsjy 写道
这个。。。。人理解起来也有歧义


的确。


7 楼 fxsjy 2009-10-19 15:08
这个。。。。人理解起来也有歧义

qizhan 写道
fxsjy 写道
分词在线演示，Google App Engine:

http://smallseg.appspot.com/smallseg




“一次性交多少钱”

测试下来不理想！

6 楼 qizhan 2009-10-19 14:50
fxsjy 写道
分词在线演示，Google App Engine:

http://smallseg.appspot.com/smallseg




“一次性交多少钱”

测试下来不理想！
5 楼 chenlb 2009-10-19 13:35
zxzheaven 写道
支持哈！
这个效率和paoding比起来怎么样？


1.7 的时候，速度：complex > paoding > maxword
4 楼 zxzheaven 2009-10-19 13:08
支持哈！
这个效率和paoding比起来怎么样？
3 楼 fxsjy 2009-10-19 13:01
分词在线演示，Google App Engine:

http://smallseg.appspot.com/smallseg
2 楼 linliangyi2007 2009-10-19 11:21
国内做开源的都要支持，现在是人太少了！
1 楼 visualcatsharp 2009-10-19 10:33
这玩意分词准确率很一般。

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

Global site tag (gtag.js) - Google Analytics