精华频道 → 开源软件
阅读更多

开源软件
名家访谈 开源 Java 中文分词器 Ansj 作者孙健专访  

2012-11-05  编辑 wangguo 评论(226条) 有168437人浏览
Ansj 分词 Java ictclas

声明：ITeye精华文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

Ansj 是一个开源的 Java 中文分词工具，基于中科院的 ictclas 中文分词算法，比其他常用的开源分词工具（如mmseg4j）的分词准确率更高。

在线演示：http://ansj.sdapp.cn/demo/seg.jsp
官网地址：http://www.ansj.org/
Github地址：https://github.com/ansjsun/ansj_seg

我们本期采访了Ansj的作者孙健，请他为大家详细介绍一下这个分词工具。

ITeye期待并致力于为国内优秀的开源项目提供一个免费的推广平台，如果你和你的团队希望将自己的开源项目介绍给更多的开发者，或者你希望我们对哪些开源项目进行专访，请告诉我们，发站内短信给ITeye管理员或者发邮件到webmaster@iteye.com即可。

先来个自我介绍吧！ Top

孙健，胸无大志，没想过创业，没想过发财，只想高高兴兴写两行代码，做了近五年Java程序员，写过页面，干过运维，做过人力，忽悠过客户，擅长字符串操作，擅长数据结构和算法。现在主要从事检索、自然语言处理、数据挖掘等方面工作。

介绍一下Ansj！ Top

Ansj中文分词是一款纯Java的、主要应用于自然语言处理的、高精度的中文分词工具，目标是“准确、高效、自由地进行中文分词”，可用于人名识别、地名识别、组织机构名识别、多级词性标注、关键词提取、指纹提取等领域，支持行业词典、用户自定义词典。

上面是客套话，先说明一下Ansj命名的由来吧。本来开始打算叫totoro分词（同事帮忙起的名），最后发现好多厕所中卫生洁具都叫“TOTO” ^_^

正好我注册了Ansj.org域名，于是乎，就叫这个名字吧。

你认为中文分词的难点是什么？ Top

在这里说分词有点老生常谈了。的确，中文分词已经非常成熟了，但是之间有一些问题依旧比较难解。个人认为大致有以下几点吧：

1.  中文歧义的识别

比较出名的一句话“结婚的和尚未结婚的”，如果使用正向最大匹配，容易分成“结婚/的/和尚/未/结婚的”，于是有的学者试图倒过来识别，逆向匹配会大于正向。但是碰到这句“结合成分子时”，采用逆向最大匹配，则会分为“结合/成分/子时”，更有甚者像“咬了猎人的狗”这种语意不明的词语，就更不容易正确分词了。这是中文分词的软肋。下面是些典型的歧义句：

  • 交叉歧义（多种切分交织在一起）：内塔内亚胡说的/确实/在理
  • 组合歧义（不同情况下切分不同）：这个人/手上有痣、我们公司人手
  • 真歧义（几种切分都可以）：乒乓球拍/卖/完了、乒乓球/拍卖/完了
2.  实体名识别

这个是中文分词遇到的最大的难点，也是最最紧迫的。实体名识别包括人名识别、地名识别、机构名识别，还包括有监督识别和无监督识别。有监督的还好，无监督基本是无解的，比如“王大力发球”是“王大力”还是“大力发球”，一般人都难以识别。

3.  新词热词发现

目前常用的新词发现还是一个比较有研究性的课题，虽然有些论文在准确率很高，但是大多是封闭测试，这意味着结果很难应用到实际工程中。目前Ansj采用的新词发现方式比较简单，采用了高频词的匹配方式，不使用规则，用统计重复串识别新词，根据词性去掉干扰词，虽然有一定的效果，但还是差强人意。

4.  颗粒度问题

这个就是一个规则探讨的问题了，比如“北京大学”是“北京”+“大学”还是“北京大学”，人各有志，就连同一个人不同时间的标注也有可能是有区别的，虽然这个问题严格上来说不属于技术问题，但是对分词结果的评测却有着很大的关系，Ansj采用“能识别就识别”的策略方针，所以在真正R值的时候偏低，总之一句话，适合学术的不一定适合工业，反之亦然。

简单介绍一下Ansj分词用到的算法，其分词原理是什么？ Top

Ansj并非我创新，可以说是一个ictclas的Java版本，基本原理一致，只不过在分词优化算法上做了一些改进。

该算法实现分词有以下几个步骤：

  1. 全切分，原子切分；
  2. N最短路径的粗切分，根据隐马尔科夫模型和viterbi算法，达到最优路径的规划；
  3. 人名识别；
  4. 系统词典补充；
  5. 用户自定义词典的补充；
  6. 词性标注（可选）

Ansj分词的准确率大概是多少？ Top

这是我采用人民日报1998年1月语料库的一个测试结果，首先要说明的是这份人工标注的语料库本身就有错误。

  • P（准确率）：0.984887218571267
  • R（召回率）：0.9626488103178712
  • F（综合指标F值）：0.9736410471396494

在歧义、未登录词问题上，Ansj表现怎样？ Top

歧异方面的处理方式自我感觉还可以，基于“最佳实践规则+统计”的方式，虽然还有一部分歧异无法识别，但是已经完全能满足工程应用了。

至于未登录词的识别，目前重点做了中文人名的识别，效果还算满意，识别方式用的“字体+前后监督”的方式，也算是目前我所知道的效果最好的一种识别方式了。

Ansj的性能如何？ Top

在我的测试中，Ansj的效率已经远超ictclas的其他开源实现版本。

核心词典利用双数组规划，每秒钟能达到千万级别的粗分。在我的MacBookAir上面，分词速度大约在300w/字/秒，在酷睿i5+4G内存组装机器上，更是达到了400w+/字/秒的速度。

如何添加自定义词典？ Top

Ansj已经实现了用户自定义词典的动态添加删除，当然，也支持从文件加载词典。

从硬盘加载用户自定义词典的方法：

用户自定义词典默认路径：项目目录/library/userLibrary/userLibrary.dic

格式为：[自定义词]  [词性]  [词频]，如：csdn创新院  userDefine  1000，中间用TAB键隔开

原分词结果：[csdn， 创新， 院， 是， 一个， 好， 公司]

增加词典后：[csdn创新院， 是， 一个， 好， 公司]

详细内容见：用户自定义词典的添加

用户自定义词典的动态添加删除方法见：用户自定义词典的动态添加删除Demo

你在开发过程中，遇到哪些困难？ Top

最大的困难是训练样本和语料库的不足，遗憾国内没有共享，大多数都是收费的，而且好贵。

你认为Ansj还需要在哪些方面进行完善？ Top

我打算下一版的改进将围绕未登录词进行，采用crf来做新词的识别。当然随着系统的庞大，每次修改都要考虑效率内存占用。

虽然已经着手开始进行中，但是进展一直不快。有兴趣的同学可以多提意见，可以通过Github参与到该项目中，让我们做一个真正的Java版的高准确率分词。

Github地址：https://github.com/ansjsun/ansj_seg
  • 大小: 44.8 KB


评论 共 226 条
16 楼 fyland 2012-11-05 13:11
erliang20088 写道
fyland 写道
一看原来是用JAVA写的，马上兴趣全无！
JAVA干这种活速度实在太差了！


这是传统看法了，现在硬件提升很快，在效率和效果都能接受的情况下，用Java写一些以前C/C++的高效程序，完全没有问题。还是希望用数据说明问题~

硬件是实实在在用银子堆积起来的，同样算法的中文分词器，用C实现的也许2000块钱的机器就能非常良好的运行，用JAVA实现的也许6000块的机器都有点卡顿。
15 楼 erliang20088 2012-11-05 13:10
fyland 写道
zhangmiao_chp 写道
fyland 写道
一看原来是用JAVA写的，马上兴趣全无！
JAVA干这种活速度实在太差了！


楼上相当无知，决定系统性能的是数据结构和算法，和语言没有关系，算法提升的性能是成倍的，代码写的好不好要看你的功力强不强，和兵器有毛关系。支持楼主

到底谁无知？
同一种算法，只能用JAVA实现，而不能用C实现？
我没有否认数据结构和算法在性能方面的重要性（事实上我提都没提），我语义的环境是假设在相同算法上，用C语言实现的中文分词会比用JAVA实现的在运行速度上要快得多！在占用CPU和内存使用上，C占的优势就更不用说了！硬件那是实实在在用银子堆起来的！
JAVA唯一的优势就是开发速度。



你能免费得到C写的分词吗？ 不要说开源的C写的分词，效果很差~
14 楼 fyland 2012-11-05 13:06
zhangmiao_chp 写道
fyland 写道
一看原来是用JAVA写的，马上兴趣全无！
JAVA干这种活速度实在太差了！


楼上相当无知，决定系统性能的是数据结构和算法，和语言没有关系，算法提升的性能是成倍的，代码写的好不好要看你的功力强不强，和兵器有毛关系。支持楼主

到底谁无知？
同一种算法，只能用JAVA实现，而不能用C实现？
我没有否认数据结构和算法在性能方面的重要性（事实上我提都没提），我语义的环境是假设在相同算法上，用C语言实现的中文分词会比用JAVA实现的在运行速度上要快得多！在占用CPU和内存使用上，C占的优势就更不用说了！硬件那是实实在在用银子堆起来的！
JAVA唯一的优势就是开发速度。
13 楼 erliang20088 2012-11-05 13:02
fyland 写道
一看原来是用JAVA写的，马上兴趣全无！
JAVA干这种活速度实在太差了！


这是传统看法了，现在硬件提升很快，在效率和效果都能接受的情况下，用Java写一些以前C/C++的高效程序，完全没有问题。还是希望用数据说明问题~
12 楼 fyland 2012-11-05 13:00
ansjsun 写道
fyland 写道
ansjsun 写道
fyland 写道
一看原来是用JAVA写的，马上兴趣全无！
JAVA干这种活速度实在太差了！

是运行速度.还是..开发速度?

运行速度！


那就是你偏见了...c写不好还不如java呢..很多时候看数据结构和算法..对程序优化有很大的提升空间的..这个分词速度绝对不必ict差的..

这个很简单，用其他开源的中文分词器做一个对比，比较一下分词速度和准确率！
JAVA占用CPU资源和内存就不必说了，在操作字符串方面JAVA一向效率低下！
11 楼 zhangmiao_chp 2012-11-05 13:00
fyland 写道
一看原来是用JAVA写的，马上兴趣全无！
JAVA干这种活速度实在太差了！


楼上相当无知，决定系统性能的是数据结构和算法，和语言没有关系，算法提升的性能是成倍的，代码写的好不好要看你的功力强不强，和兵器有毛关系。支持楼主
10 楼 erliang20088 2012-11-05 12:56
用过该分词组件相当不错，效果很理想，打算参考一下，也自写一个，不知道你用了多长时间完成这个分词器？
9 楼 ansjsun 2012-11-05 12:52
fyland 写道
ansjsun 写道
fyland 写道
一看原来是用JAVA写的，马上兴趣全无！
JAVA干这种活速度实在太差了！

是运行速度.还是..开发速度?

运行速度！


那就是你偏见了...c写不好还不如java呢..很多时候看数据结构和算法..对程序优化有很大的提升空间的..这个分词速度绝对不必ict差的..
8 楼 fyland 2012-11-05 12:49
ansjsun 写道
fyland 写道
一看原来是用JAVA写的，马上兴趣全无！
JAVA干这种活速度实在太差了！

是运行速度.还是..开发速度?

运行速度！
7 楼 ansjsun 2012-11-05 12:48
fyland 写道
一看原来是用JAVA写的，马上兴趣全无！
JAVA干这种活速度实在太差了！

是运行速度.还是..开发速度?
6 楼 fyland 2012-11-05 12:47
一看原来是用JAVA写的，马上兴趣全无！
JAVA干这种活速度实在太差了！
5 楼 jeffsui 2012-11-05 12:34
这个必须支持,中文分词系统！
4 楼 orange.lpai 2012-11-05 12:33
沙发！强烈支持，真心想协助打造一个开源的Java分词系统！
3 楼 wen12128 2012-11-05 12:29
值得学习
2 楼 freish 2012-11-05 12:25
good
1 楼 litaoshoujiao 2012-11-05 11:47
非常不错，顶起！

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • 国内外优秀开源项目创始人专访

    这几年陆续采访了国内外一些优秀开源项目的zuozh

  • R语言︱文本挖掘之中文分词包——Rwordseg包(原理、功能、详解)

    笔者寄语：与前面的RsowballC分词不同的地方在于这是一个中文的分词包，简单易懂，分词是一个非常重要的步骤，可以通过一些字典，进行特定分词。大致分析步骤如下： 数据导入——选择分词字典——分词 但是下载...

  • 中文分词工具Rwordseg

    Ansj 也是一个开源的 Java 中文分词工具，基于中科院的 ictclas 中文分词算法，采用隐马尔科夫模型（Hidden Markov Model, HMM）。作者孙健重写了一个Java版本，并且全部开源，使得 Ansi 可用于人名识别、地名识别...

  • 中文分词的应用 新浪和庖丁两种方式对比

    中文分词相比于英文难度要大得多，涉及到自然语言的理解和处理。分词也是文本挖掘中的关键技术之一，百度也是因为中文分词相比于google更优秀，才做到中文的检索结果更优。实际上新浪、百度云服务上很多开发者也开放...

  • Lucene下分词工具的学习探讨

    今天一天学习的东西不多，除了看《Lucene实战》第20页的程序，就是研究Java版本的开源分词器了！ 在网上找到了两种分词器，ansj和imdict,本质上没有什么区别，都是用采用ICTCLAS的核心。个人觉得ansj要更好一些，...

  • NLP自然语言处理干货贴

    摘要：作者：苏剑林 来源网站：科学空间 原文链接：OCR技术浅探：9. 代码共享(完) 文件说明： 1. image... 2.OCR技术浅探：8. 综合评估 摘要：作者：苏剑林 来源网站：科学空间 原文链接：OCR技术浅探：8. 综合...

  • 高校学生选课系统项目源码资源

    项目名称： 高校学生选课系统 内容概要： 高校学生选课系统是为了方便高校学生进行选课管理而设计的系统。该系统提供了学生选课、查看课程信息、管理个人课程表等功能，同时也为教师提供了课程发布和管理功能，以及管理员对整个选课系统的管理功能。 适用人群： 学生： 高校本科生和研究生，用于选课、查看课程信息、管理个人课程表等。 教师： 高校教师，用于发布课程、管理课程信息和学生选课情况等。 管理员： 系统管理员，用于管理整个选课系统，包括用户管理、课程管理、权限管理等。 使用场景及目标： 学生选课场景： 学生登录系统后可以浏览课程列表，根据自己的专业和兴趣选择适合自己的课程，并进行选课操作。系统会实时更新学生的选课信息，并生成个人课程表。 教师发布课程场景： 教师登录系统后可以发布新的课程信息，包括课程名称、课程描述、上课时间、上课地点等。发布后的课程将出现在课程列表中供学生选择。 管理员管理场景： 管理员可以管理系统的用户信息，包括学生、教师和管理员账号的添加、删除和修改；管理课程信息，包括课程的添加、删除和修改；管理系统的权限控制，包括用户权限的分配和管理。 目标： 为高校学生提

  • TC-125 230V 50HZ 圆锯

    TC-125 230V 50HZ 圆锯

  • 影音娱乐北雨影音系统 v1.0.1-bymov101.rar

    北雨影音系统 v1.0.1_bymov101.rar 是一个计算机专业的 JSP 源码资料包，它为用户提供了一个强大而灵活的在线影音娱乐平台。该系统集成了多种功能，包括视频上传、播放、分享和评论等，旨在为用户提供一个全面而便捷的在线视频观看体验。首先，北雨影音系统具有强大的视频上传功能。用户可以轻松地将本地的视频文件上传到系统中，并与其他人分享。系统支持多种视频格式，包括常见的 MP4、AVI、FLV 等，确保用户能够方便地上传和观看各种类型的视频。其次，该系统提供了丰富的视频播放功能。用户可以选择不同的视频进行观看，并且可以调整视频的清晰度、音量等参数，以适应不同的观看需求。系统还支持自动播放下一个视频的功能，让用户可以连续观看多个视频，无需手动切换。此外，北雨影音系统还提供了一个社交互动的平台。用户可以在视频下方发表评论，与其他观众进行交流和讨论。这为用户之间的互动提供了便利，增加了观看视频的乐趣和参与感。最后，该系统还具备良好的用户体验和界面设计。界面简洁明了，操作直观易用，让用户可以快速上手并使用各项功能。同时，系统还提供了个性化的推荐功能，根据用户的观看历史和兴趣，为用户推荐

  • Tripp Trapp 儿童椅用户指南 STOKKE

    Tripp Trapp 儿童椅用户指南

  • node-v8.13.0-linux-armv6l.tar.gz

    Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。

  • 谷歌浏览器 64位-89.0.4389.128.exe

    Windows版本64位谷歌浏览器，是由Google谷歌公司开发的一款电脑版网络浏览器，可以运行在Windows 10/8.1/8/7 64位的操作系统上。该浏览器是基于其它开放原始码软件所撰写，包括WebKit和Mozilla，目标是提升稳定性、速度和安全性，并创造出简单且有效率的使用者界面。软件的特点是简洁、快速。并且支持多标签浏览，每个标签页面都在独立的“沙箱”内运行，在提高安全性的同时，一个标签页面的崩溃也不会导致其他标签页面被关闭。此外，谷歌浏览器(Google Chrome)基于更强大的JavaScript V8引擎，这是当前Web浏览器所无法实现的。

  • 适用于鲲鹏麒麟的OpenJDK1.8

    适用于鲲鹏麒麟的OpenJDK1.8

  • 毕业设计-基于SSH的任务调度系统的设计与实现

    任务调度试系统，基本功能包括：用户的注册、用户的登录、发起项目、项目详细及搜索等。本系统结构如下： （1）用户的注册登录： 注册模块：完成用户注册功能； 登录模块：完成用户登录功能； （2）发起项目： 发起项目模块：完成了项目及项目下一个或者多个任务的添加； 项目详细:点击项目名称，可以看到项目及任务详细信息; 搜索项目:完成对项目名称的模糊搜索功能 任务调度试系统，基本功能包括：用户的注册、用户的登录、发起项目、项目详细及搜索等。本系统结构如下： （1）用户的注册登录： 注册模块：完成用户注册功能； 登录模块：完成用户登录功能； （2）发起项目： 发起项目模块：完成了项目及项目下一个或者多个任务的添加； 项目详细:点击项目名称，可以看到项目及任务详细信息; 搜索项目:完成对项目名称的模糊搜索功能

  • 30个炫酷的数据可视化大屏(含源码)

    大屏数据可视化是以大屏为主要展示载体的数据可视化设计，30个可视化大屏包含源码，直接运行文件夹中的index.html，即可看到大屏。 内含：数据可视化页面设计；数据可视化演示系统；大数据可视化监管平台；智能看板；翼兴消防监控；南方软件视频平台；全国图书零售监测数据；晋城高速综合管控大数据；无线网络大数据平台；设备大数据；游戏数据大屏；厅店营业效能分析；车辆综合管控平台；政务大数据共享交换平台；智慧社区；物流云数据看板平台；风机可视化大屏等。

  • 基于yolov5识别算法实现的DNF自动脚本源码.zip

    优秀源码设计，详情请查看资源源码内容

  • 毕业设计：基于SSM的mysql-在线网上书店（源码 + 数据库 + 说明文档）

    毕业设计：基于SSM的mysql_在线网上书店（源码 + 数据库 + 说明文档） 2.系统分析与设计 3 2.1系统分析 3 2.1.1需求分析 3 2.1.2必要性分析 3 2.2系统概要设计 3 2.2.1 项目规划 3 2.2.2系统功能结构图 4 2.3开发及运行环境 4 2.4逻辑结构设计 5 2.4.1 数据库概要说明 5 2.4.2 主要数据表结构 6 2.5文件夹架构 9 2.6编写JAVA BEAN 9 3.网站前台主要功能模块设计 10 3.1前台首页架构设计 10 3.2网站前台首页设计 11 3.3新书上市模块设计 12 3.4特价书籍模块设计 13 3.5书籍分类模块设计 14 3.6会员管理模块设计 15 3.7购物车模块设计 17 3.8收银台设计模块 19 3.9畅销书籍模块设计 20 4.网站后台主要功能模块设计 21 4.1网站后台文件夹架构设计 21 4.2后台主页面设计 21 4.3书籍管理模块设计 22 4.4会员管理模块设计 25 4.5订单管理模块设计 26 4.6公告管理模块设计 28 4.7退出系统页面设计 29 5.网站制作中遇到的问

  • python 开发 python爬虫数据可视化分析项目源码加课题报告，源码注解清晰一看就懂，适合新手.zip

    python 开发 python爬虫数据可视化分析项目源码加课题报告，源码注解清晰一看就懂，适合新手

  • node-v8.0.0-linux-armv7l.tar.gz

    Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。

Global site tag (gtag.js) - Google Analytics