资讯频道 → 编程语言
阅读更多

39顶
2踩

编程语言

转载新闻 当前几个主要的Lucene中文分词器的比较

2009-08-08 10:29 by 副主编 ouspec 评论(10) 有55942人浏览
lucene

1. 基本介绍：

paoding ：Lucene中文分词“庖丁解牛” Paoding Analysis
imdict ：imdict智能词典所采用的智能中文分词程序
mmseg4j ： 用 Chih-Hao Tsai 的 MMSeg 算法 实现的中文分词器
ik ：采用了特有的“正向迭代最细粒度切分算法“，多子处理器分析模式

 

 

2. 开发者及开发活跃度：

paoding ：qieqie.wang， google code 上最后一次代码提交：2008-06-12，svn 版本号 132
imdict ：XiaoPingGao， 进入了 lucene contribute，lucene trunk 中 contrib/analyzers/smartcn/ 最后一次提交：2009-07-24，
mmseg4j ：chenlb2008，google code 中 2009-08-03 （昨天），版本号 57，log为：mmseg4j-1.7 创建分支
ik ：linliangyi2005，google code 中 2009-07-31，版本号 41

 

 

3. 用户自定义词库：

paoding ：支持不限制个数的用户自定义词库，纯文本格式，一行一词，使用后台线程检测词库的更新，自动编译更新过的词库到二进制版本，并加载
imdict ：暂时不支持用户自定义词库。但 原版 ICTCLAS 支持。支持用户自定义 stop words
mmseg4j ：自带sogou词库，支持名为 wordsxxx.dic， utf8文本格式的用户自定义词库，一行一词。不支持自动检测。 -Dmmseg.dic.path
ik ： 支持api级的用户词库加载，和配置级的词库文件指定，无 BOM 的 UTF-8 编码，\r\n 分割。不支持自动检测。

 

 

4. 速度（基于官方介绍，非自己测试）

paoding ：在PIII 1G内存个人机器上，1秒 可准确分词 100万 汉字
imdict ：483.64 (字节/秒)，259517(汉字/秒)
mmseg4j ： complex 1200kb/s左右, simple 1900kb/s左右
ik ：具有50万字/秒的高速处理能力

 

 

5. 算法和代码复杂度

paoding ：svn src 目录一共1.3M，6个properties文件，48个java文件，6895 行。使用不用的 Knife 切不同类型的流，不算很复杂。
imdict ：词库 6.7M（这个词库是必须的），src 目录 152k，20个java文件，2399行。使用 ICTCLAS HHMM隐马尔科夫模型，“利用大量语料库的训练来统计汉语词汇的词频和跳转概率，从而根据这些统计结果对整个汉语句子计算最似然(likelihood)的切分”
mmseg4j ： svn src 目录一共 132k，23个java文件，2089行。MMSeg 算法 ，有点复杂。
ik ： svn src 目录一共6.6M(词典文件也在里面)，22个java文件，4217行。多子处理器分析，跟paoding类似，歧义分析算法还没有弄明白。

 

 

6. 文档

paoding ：几乎无。代码里有一些注释，但因为实现比较复杂，读代码还是有一些难度的。
imdict ： 几乎无。 ICTCLAS 也没有详细的文档，HHMM隐马尔科夫模型的数学性太强，不太好理解。
mmseg4j ： MMSeg 算法 是英文的，但原理比较简单。实现也比较清晰。
ik ： 有一个pdf使用手册，里面有使用示例和配置说明。

 

 

7. 其它

paoding ：引入隐喻，设计比较合理。search 1.0 版本就用的这个。主要优势在于原生支持词库更新检测。主要劣势为作者已经不更新甚至不维护了。
imdict ：进入了 lucene trunk，原版 ictclas 在各种评测中都有不错的表现，有坚实的理论基础，不是个人山寨。缺点为暂时不支持用户词库。
mmseg4j ： 在complex基础上实现了最多分词(max-word)，但是还不成熟，还有很多需要改进的地方。
ik ：  针对Lucene全文检索优化的查询分析器IKQueryParser

 

 

8. 结论

个人觉得，可以在 mmseg4j 和 paoding 中选一个。关于这两个分词效果的对比，可以参考：

http://blog.chenlb.com/2009/04/mmseg4j-max-word-segment-compare-with-paoding-in-effect.html

或者自己再包装一下，将 paoding 的词库更新检测做一个单独的模块实现，然后就可以在所有基于词库的分词算法之间无缝切换了。

 

 

ps，对不同的 field 使用不同的分词器是一个可以考虑的方法。比如 tag 字段，就应该使用一个最简单的分词器，按空格分词就可以了。

来自: 福林雨博客
39
顶
2
踩
评论 共 10 条 请登录后发表评论
10 楼 ladybird2010 2010-02-25 10:58
求Lucene结合Hibernate的配置实例 急。。
您若有Lucene的例子工程，帮忙发一个好吗？最好是可以分词。
Email: gao.guangpei@zte.com.cn 或者ggp123@126.com
非常感谢你！
9 楼 ray_linn 2009-09-08 15:44
8 楼 ibeits 2009-08-10 09:46
能有这样的文章是好的,但比较项目都浮于表面,如果作者再写一篇对它们核心分词算法比较的文章就好了
7 楼 treblesoftware 2009-08-09 23:01
好文章，这种文章是最需要的。
6 楼 silasoni 2009-08-09 22:11
有没有韩语分词啊 
5 楼 whaosoft 2009-08-09 12:12
都是中国人?? 幸好我们那儿只做外国的
4 楼 jitabc 2009-08-09 09:58
感觉最具有生命力的非IK莫属
3 楼 sking 2009-08-09 06:42
HHMM是啥东东？应该是HMM。。。
2 楼 flyfan 2009-08-09 02:05
这遍文章不错，不过发到论坛区会更适合
1 楼 shaka 2009-08-08 16:18
不错，该好好学习下，免得每次面试问到分词都让很汗颜

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • X Windows的理解与使用

    X Windows的理解 Unix/Linux系统上的图形用户界面 GNome KDE x window可以理解为linux的GUI程序

  • XWindow使用及感受

    是不是你也和我一样一直在困惑XWindow到底是怎么来运行的?到底那个是服务器,那个是客户端?怎么越来越搞不明白了?Ok,不用先弄明白,跟我来,自己动手做一遍之后这些概念你就都可以明白了首先在你需要有一台linux机器,现在虚拟机程序这么多,你怎么都该在你的windows中分出来一块给linux了吧?我这里用的linux.之后你还需要一台XWindow的服务器,实际上linux已经自带了,但为了彻

  • X Window

     X Window提起 Linux 上的图形，许多人首先想到的是 X Window。这一系统是目前类 UNIX 系统中处于控制地位的桌面图形系统。无疑，X Window 作为一个图形环境是成功的，它上面运行着包括 CAD建模工具和办公套件在内的大量应用程序。但必须看到的是，由于 X Window 在体系接口上的原因，限制了其对游戏、多媒体的支持能力。用户在 X Window 上运行 VCD 播放器

  • linux的x window system

    为什么叫x window system：因为就英文字母来看，x是在w的后面。 当时在开发x window system的时候，就希望这个窗口界面不要与硬件有强烈的相关性，不然就等于是一个操作系统了，因此x当初就是以应用程序的概念开发的。 x窗口也被称为x11，这个窗口是利用网络架构来进行图形界面的运行和绘制。 这个网络架构基本可分为x server和x clie...

  • Xwindow是什么

    Xwindow是工作站图形系统的工业标准，它有多种不同的实现，Ubuntu系统中使用的为Xorg。 （比较前卫的图形界面系统XGL，实际代替X服务器的作用，另外还有与之配套的窗口管理器） 历史 当然，Xwindow有悠久的历史和传统，不过那不在我们讨论的范围。您要注意的有两点： * Xwindow 和 Xbox 中的“X”本意是不同的， X 只...

  • oracle 分词器有哪些,当前几个主要的Lucene中文分词器的比较

    1.基本介绍：imdict ：imdict智能词典所采用的智能中文分词程序mmseg4j： 用 Chih-Hao Tsai 的 MMSeg 算法 实现的中文分词器ik ：采用了特有的“正向迭代最细粒度切分算法“，多子处理器分析模式2.开发者及开发活跃...

  • mysql ictclas_当前几个主要的Lucene中文分词器的比较【转载】

    1. 基本介绍：paoding ：Lucene中文分词“庖丁解牛” Paoding Analysisimdict ：imdict智能词典所采用的智能中文分词程序mmseg4j ： 用 Chih-Hao Tsai 的 MMSeg 算法 实现的中文分词器ik ：采用了特有的“正向迭代最...

  • Lucene分词器

    介绍 历史: 创始人Doug Cutting(hadoop); lucene:是搜索引擎的工具包基于java编写的 特点 稳定,索引性能高(倒排索引) ...现代硬盘每小时索引150G数据(索引:创建索引文件) ...lucene的分词计算 分词:分词的过程就...

  • 让一般用户使用X Window (转)

    让一般用户使用X Window (转)[@more@] 让一般用户使用XWindow Mailto:webmaster@Linuxaid.com.cn">技巧管理员(2000-12-24 10:33)〖tip...

  • X Window 简单入门教程

    1.X Window 系统的窗口显示原理： http://www.ibm.com/developerworks/cn/linux/l-cn-xwin/ 2.X Window 程式设计入门--第二章 X Programming 的第一步 http://fanqiang.chinaunix.net/a4/b8/20010601/180800311.html

  • Xwindow介绍

    很多人在用 Xwindow，但是他们是在用一些包装掩盖下的 Xwindow，那些包装有些很不稳定，占用大量资源，以至于有人说 Xwindow 是垃圾。其实 Xwindow 是一个非常出色的图形系统，你应该抱怨的是那些不稳定的包装，而不是 Xwindow 本身。     Xwindow 是非常巧妙的设计，很多时候它在概念上比其它窗口系统先进，以至于经过很多年它仍然是工作站上的工业标准。许

  • 第24章、 X Window 设定介绍

    24.1. 什么是 X Window System Unix Like 操作系统不是只能进行服务器的架设而已，在美编、排版、制图、多媒体应用上也是有其需要的。 这些需求都需要用到图形接口 (Graphical User Interface, GUI) 的操作的， 所以后来才有所谓的 X Window System 这玩意儿。那么为啥图形窗口接口要称为 X 呢？因为就英文字母来看 X 是在 W(i...

  • 即时通讯_分布式系统_WebSocket_Golang_Redis_MySQL_RabbitMQ_Gin_Logrus_Docker_微服务架构_高并发_消息队列_实时聊天_多节点.zip

    即时通讯_分布式系统_WebSocket_Golang_Redis_MySQL_RabbitMQ_Gin_Logrus_Docker_微服务架构_高并发_消息队列_实时聊天_多节点

  • STM32伺服步进定位精准控制：相对与绝对定位的回原点策略及梯形加减速算法深度解析

    内容概要：本文详细介绍了如何使用STM32实现步进电机的精确运动控制，涵盖梯形加减速算法、绝对定位、相对定位和回原点功能。文章首先解释了绝对定位和相对定位的区别及其应用场景，接着深入探讨了梯形加减速算法的具体实现方法，包括动态选择梯形或三角形速度曲线以适应不同的运动距离。文中还提供了详细的回原点逻辑，确保电机能够安全可靠地返回起始位置。此外，文章讨论了运动控制状态机的设计，强调了定时器中断和服务函数的作用，以及如何通过DMA提高系统的稳定性和效率。最后，作者分享了一些实用的经验和注意事项，如定时器配置、加减速参数设置和硬件接口设计。 适合人群：对嵌入式系统和运动控制感兴趣的开发者，尤其是有一定STM32编程基础的技术人员。 使用场景及目标：适用于需要高精度步进电机控制的应用场合，如工业自动化设备、机器人等领域。主要目标是帮助读者掌握STM32在步进电机控制方面的核心技术，包括但不限于梯形加减速、定位控制和回原点等功能。 其他说明：文章不仅提供了理论讲解，还附有大量实际代码片段，便于读者理解和实践。同时，作者分享了许多实战经验和常见问题的解决方案，有助于读者避开潜在的陷阱并提高项目的成功率。

  • 西门子PLC 1200 PID程序与变频器通讯详解：Modbus RTU报文讲解，带触摸屏，手动自动功能及CAD电气详细注释

    内容概要：本文深入探讨了西门子PLC 1200与G120变频器通过Modbus RTU通讯的实现方法，涵盖硬件连接、软件配置、变频器参数设置、PID自写FB块及其手动自动切换功能、触摸屏交互设计以及CAD电气的应用。具体介绍了Modbus RTU通讯的初始化配置、报文格式、PID控制算法的手动自动无扰切换、触摸屏参数映射和动态站号切换等功能。同时提供了详细的代码示例和调试建议，强调了参数设置、实数转换、PID抗饱和等注意事项。 适合人群：从事工业自动化领域的工程师和技术人员，特别是熟悉西门子产品并有一定PLC编程基础的人群。 使用场景及目标：适用于需要构建基于西门子PLC 1200和G120变频器的自动化控制系统的企业和个人开发者。主要目标是掌握Modbus RTU通讯协议的具体实现细节，理解PID控制算法的工作原理，并能够独立完成系统的集成和调试。 其他说明：文中不仅提供了理论知识，还包括大量实战经验和常见问题的解决方案，有助于提高读者的实际操作能力。此外，还涉及了CAD电气图纸的绘制，为项目的整体规划和后续维护提供了指导。

  • **煤层瓦斯开采技术新突破：采用二阶PDE方程描述压力变化**

    内容概要：本文详细介绍了COMSOL利用二阶偏微分方程（PDE）进行煤层气开采过程中压力场模拟的方法及其显著优势。传统方法通常采用达西定律简化为一阶方程，而COMSOL则通过自定义二阶PDE，将渗透率作为动态参数，并引入非线性的解吸过程和复杂的边界条件，从而更精确地模拟了煤层内的压力变化。文中展示了具体的MATLAB代码片段，解释了如何配置模型以及处理边界条件，强调了二阶PDE在捕捉压力场细节方面的优越性能。此外，文章还提到了一些实际案例，如瓦斯涌出量预测精度提高37.6%，裂隙区压力衰减速度误差控制在8%以内等。 适合人群：从事煤层气开采研究的专业人士、数值模拟工程师、地质力学专家。 使用场景及目标：适用于需要高精度模拟煤层气开采过程中复杂压力场变化的研究项目，旨在提升预测准确性，优化开采方案，减少事故风险。 其他说明：尽管二阶PDE提供了更高的精度，但也增加了模型复杂性和计算成本。因此，在具体应用时需权衡精度与效率之间的关系。同时，良好的网格划分对于获得稳定可靠的解决方案至关重要。

  • 可再生能源_光伏发电_物联网大数据云计算_SpringBoot_Vue_ElementUI_Redis_Jwt_XXLJob_Netty_时序数据库_关系型数据库_智能监测_数据采.zip

    可再生能源_光伏发电_物联网大数据云计算_SpringBoot_Vue_ElementUI_Redis_Jwt_XXLJob_Netty_时序数据库_关系型数据库_智能监测_数据采

  • thymeleaf-2.0.9.jar中文-英文对照文档.zip

    # 压缩文件中包含： 中文-英文对照文档 jar包下载地址 Maven依赖 Gradle依赖 源代码下载地址 # 本文件关键字： jar中文-英文对照文档.zip,java,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,中文API文档,手册,开发手册,使用手册,参考手册 # 使用方法： 解压最外层zip，再解压其中的zip包，双击 【index.html】 文件，即可用浏览器打开、进行查看。 # 特殊说明： ·本文档为人性化翻译，精心制作，请放心使用。 ·只翻译了该翻译的内容，如：注释、说明、描述、用法讲解 等； ·不该翻译的内容保持原样，如：类名、方法名、包名、类型、关键字、代码 等。 # 温馨提示： （1）为了防止解压后路径太长导致浏览器无法打开，推荐在解压时选择“解压到当前文件夹”（放心，自带文件夹，文件不会散落一地）； （2）有时，一套Java组件会有多个jar，所以在下载前，请仔细阅读本篇描述，以确保这就是你需要的文件；

  • 31 android 加载时闪烁点样式的启动画面

    31 android 加载时闪烁点样式的启动画面

Global site tag (gtag.js) - Google Analytics