mmseg4j 1.6支持最多分词，应网友的要求：分词效果与 paoding 对比下。观察了 paoding 部分分词结果，现总结下。
paoding 分词效果：
--------------------------
清华大学
清华 | 大 | 华大 | 大学 |
--------------------------
华南理工大学
华南 | 理工 | 大 | 大学 |
--------------------------
广东工业大学
广东 | 工业 | 大 | 业大 | 大学 |
--------------------------
西伯利亚
西伯 | 伯利 | 西伯利亚 |
--------------------------
研究生命起源
研究 | 研究生 | 生命 | 起源 |
--------------------------
为首要考虑
为首 | 首要 | 考虑 |
--------------------------
化装和服装
化装 | 和服 | 服装 |
--------------------------
中国人民银行
中国 | 国人 | 人民 | 银行 |
--------------------------
中华人民共和国
中华 | 华人 | 人民 | 共和 | 共和国 |
--------------------------
羽毛球拍
羽毛 | 羽毛球 | 球拍 |
--------------------------
人民币
人民 | 人民币 |
--------------------------
很好听
很好 | 好听 |
--------------------------
下一个
下一 | 一个 |
--------------------------
为什么
为什么 |
--------------------------
北京首都机场
北京 | 首都 | 机场 |
--------------------------
东西已经拍卖了
东西 | 已经 | 拍卖 | 卖了 |
--------------------------
主人因之生气
主人 | 生气 |
--------------------------
虽然某些动物很凶恶
动物 | 凶恶 |
--------------------------
朋友真背叛了你了
朋友 | 真 | 背叛 |
--------------------------
建设盒蟹社会
建设 | 盒蟹 | 社会 |
--------------------------
建设盒少蟹社会
建设 | 盒少 | 少蟹 | 社会 |
--------------------------
我们家门前的大水沟很难过。
我们 | 家门 | 前 | 门前 | 前的 | 大 | 大水 | 水沟 | 很难 | 难过 |
--------------------------
罐头不如果汁营养丰富。
罐头 | 不如 | 如果 | 果汁 | 营养 | 丰富 |
--------------------------
今天真热，是游泳的好日子。
今天 | 天真 | 热 | 游泳 | 日子 | 好日子 |
--------------------------
妹妹的数学只考十分，真丢脸。
妹妹 | 数学 | 只考 | 十分 | 真 | 丢脸 |
--------------------------
我做事情，都是先从容易的做起。
做事 | 事情 | 都是 | 先从 | 从容 | 容易 | 容易的 | 做起 |
--------------------------
老师说明天每个人参加大队接力时，一定要尽力。
老师 | 师说 | 说明 | 明天 | 每个 | 个人 | 人参 | 参加 | 大 | 加大 | 大队 | 接力 | 时 | 一定 | 定要 | 要尽 | 尽力 |
--------------------------
小明把大便当作每天早上起床第一件要做的事
小明 | 大 | 大便 | 便当 | 当作 | 每天 | 早上 | 上起 | 起床 | 床第 | 第一 | 一件 | 要做 | 做的 | 的事 |
mmseg4j maxword 分词效果：
--------------------------
清华大学
清华 | 大学 |
--------------------------
华南理工大学
华南 | 理工 | 工大 | 大学 |
--------------------------
广东工业大学
广东 | 工业 | 大学 |
--------------------------
西伯利亚
西 | 伯利 | 利亚 |
--------------------------
研究生命起源
研究 | 生命 | 起源 |
--------------------------
为首要考虑
为首 | 要 | 考虑 |
--------------------------
化装和服装
化装 | 和 | 服装 |
--------------------------
中国人民银行
中国 | 国人 | 人民 | 银行 |
--------------------------
中华人民共和国
中华 | 华人 | 人民 | 共和 | 国 |
--------------------------
羽毛球拍
羽毛 | 球拍 |
--------------------------
人民币
人民 | 币 |
--------------------------
很好听
很好 | 好听 |
--------------------------
下一个
下一 | 一个 |
--------------------------
为什么
为 | 什么 |
--------------------------
北京首都机场
北京 | 首都 | 机场 |
--------------------------
东西已经拍卖了
东西 | 已经 | 拍卖 | 了 |
--------------------------
主人因之生气
主人 | 因 | 之 | 生气 |
--------------------------
虽然某些动物很凶恶
虽然 | 某些 | 动物 | 很 | 凶恶 |
--------------------------
朋友真背叛了你了
朋友 | 真 | 背叛 | 了 | 你了 |
--------------------------
建设盒蟹社会
建设 | 盒 | 蟹 | 社会 |
--------------------------
建设盒少蟹社会
建设 | 盒 | 少 | 蟹 | 社会 |
--------------------------
我们家门前的大水沟很难过。
我们 | 家 | 门前 | 的 | 大水 | 水沟 | 很难 | 过 |
--------------------------
罐头不如果汁营养丰富。
罐头 | 不如 | 果汁 | 营养 | 丰富 |
--------------------------
今天真热，是游泳的好日子。
今天 | 天真 | 热 | 是 | 游泳 | 的 | 好 | 日子 |
--------------------------
妹妹的数学只考十分，真丢脸。
妹妹 | 的 | 数学 | 只 | 考 | 十分 | 真 | 丢脸 |
--------------------------
我做事情，都是先从容易的做起。
我做 | 事情 | 都是 | 先 | 从容 | 易 | 的 | 做起 |
--------------------------
老师说明天每个人参加大队接力时，一定要尽力。
老师 | 师说 | 明天 | 每个 | 个人 | 参加 | 大队 | 接力 | 时 | 一定 | 要 | 尽力 |
--------------------------
小明把大便当作每天早上起床第一件要做的事
小明 | 把 | 大便 | 当作 | 每天 | 早上 | 起床 | 第一 | 一件 | 要做 | 的 | 事 |
paoding 几乎把所有的子词都拆出来，有时候还有最长的词，还没搞懂“华南理工大学”会分出“大”；mmseg4j 的 maxword 是在 complex分词后的结果再把子词都拆出来（1.6版按二元，不是词的去掉或保存单字。下一版本可能方式有点不同，“为什么”不应该为“为|什么”，也即是三个字的前后不是词的应该不分，有待研究，:)）。
如“化装和服装” mmseg4j 的 complex是可以较好的分出来（“化装 | 和 | 服装”），而 paoding 少了字频的信息，比较难到这事。mmseg4j complex 也有个缺点：“都是先从容易的做起” 不能把“容易”分出来，这是因为 mmseg 算法是用 3 个chunk的原因，我认为把整句的 chunk （还是仅仅3个chunk）来处理的话，分词效果要好），当然要更多的开销，选3个可能是效果与性能平衡吧。
mmseg4j 没有加任何 stopword，这东西留给使用者自己加，因为我不认为加 stopword 是好的方法。如音乐搜索，给加上 the,this……，还能找到歌曲？
当然分词效果还与词库有关，sogou 的词库是统计得出，有些高频的单字组合也成了词，如“我们的”。如果还要提高 mmseg4j 的分词效果，还要在整理下词库。
分享到：
相关推荐
mmseg4j-solr-2.3.0.jar 支持 solr5.x 版本以上 分词器本身并未做升级还是mmseg4j-core-1.10.0 和 mmseg4j-analysis-1.9.1.jar为了方便也一并上传
在com.chenlb.mmseg4j.analysis包里扩展lucene analyzer。 MMSegAnalyzer默认使用max-word方式分词(还有：ComplexAnalyzer, SimplexAnalyzer, MaxWordAnalyzer)。
mmseg4j1.8.4分词工具，可以方便的集成在lucene后者solr中。
mmseg4j中文分词器
兼容solr4.10.3的mmseg4j-1.9.1分词器
基于Lucene的中文分词器代码paoding,IK,imdict,mmseg4j。测试可运行，输入一个段落，每个分词器的分词结果不同，可得到结果和所需时间。
欢迎下载mmseg4j分词器jar包
mmseg4j-1.9.1 分词器 包含修复bug的mmseg4j-analysis-1.9.1.jar dist\修复bug下是修复bug后的mmseg4j-analysis-1.9.1.jar
能兼容solr-4.10.2的分词器,大礼包...包括IK分词器,mmseg4j分词器,庖丁分词器.都是经本人测试可用,其中mmseg4j与庖丁都是下载源码,修改重编译并测试生成的.希望大家喜欢.至于与solr的整合方式,网上很多,这里就不介绍了.
mmseg4j分词，比较精确，可以跟lucene里面用
mmseg4j中文分词器 mmseg4j-core-1.10.0.jar mmseg4j-solr-2.3.0.jar两个主要依赖包
mmseg4j-solr-2.3.0-with-mmseg4j-core是Solr的中文分词包，该压缩包含有mmseg4j-core-1.10.0.jar和mmseg4j-solr-2.3.0.jar。
本人用的solr是4.10的，经过本人亲测可用，放心下载，包含以下3个jar包： mmseg4j-analysis-1.9.1.jar, mmseg4j-core-1.9.1.jar, mmseg4j-solr-2.2.0.jar
mmseg4j分词器，版本1.9，内涵词库，位于加压后的data.zip中
mmseg4j用Chih-Hao Tsai 的MMSeg算法实现的中文分词器，并实现lucene的analyzer和solr的TokenizerFactory以方便在Lucene和Solr中使用。 MMSeg 算法有两种分词方法：Simple和Complex，都是基于正向最大匹配。Complex...
<tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="complex" dicPath="dic"/> <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="max-word" /> ...
中文分词器 mmseg4j1.9.1.zip 配合solr 使用
mmseg4j-1.8.5中文分词器API
本人从搜狗词库下载后转化为Lucene中文分词所需的词库，里面搜集的都是官方推荐的内容本人亲测可用。使用Solr5.2.1测试
mmseg4j