主机平台:Ubuntu 13.04
Python版本:2.7.4
jieba分词满足了Pyhon下对高效率高准确率进行中文分词的要求,是一款很不错的开源分词组建。并且支持繁体字和自定义短语以提高分词的准确性。
分词支持三种模式:
a,精确模式,试图将句子最精确地切开,适合文本分析;
b,全模式,把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义;
c,搜索引擎模式,在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词。
结巴分词组建的安装:
git clone https://github.com/fxsjy/jieba.git
cd jieba
python setup.py build
python setup.py install
调用接口:
- 组件只提供jieba.cut 方法用于分词
- cut方法接受两个输入参数:
- 1) 第一个参数为需要分词的字符串
- 2) cut_all参数用来控制分词模式
- 待分词的字符串可以是gbk字符串、utf-8字符串或者unicode
- jieba.cut返回的结构是一个可迭代的generator,可以使用for循环来获得分词后得到的每一个词语(unicode),也可以用list(jieba.cut(…))转化为list
Python的使用实例:
#!/usr/bin/env python
# -*- coding:utf-8 -*-
import jieba
text = ‘工信处女干事每月经过下属科室都要亲口交代24口交换机等技术性器件的安装工作’
default_mode = jieba.cut(text)
full_mode = jieba.cut(text,cut_all=True)
search_mode = jieba.cut_for_search(text)
print “精确模式:”,”/”.join(default_mode)
print “全模式:”,”/”.join(full_mode)
print “搜索引擎模式:”,”/”.join(search_mode)
分词结果执行如下:
分享到:
相关推荐
jieba:“结巴”中文分词:做最好的 Python 中文分词组件
jieba “结巴”中文分词:做最好的...搜索引擎模式,在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词。 支持繁体分词 支持自定义词典 MIT 授权协议 详情,见https://github.com/fxsjy/jieba
本文实例讲述了Python中文分词工具之结巴分词用法。分享给大家供大家参考,具体如下: 结巴分词工具的安装及基本用法,前面的文章《Python结巴中文分词工具使用过程中遇到的问题及解决方法》中已经有所描述。这里要...
因为比赛需要用到结巴分词,所以写了一个关于结巴分词、词性标注以及停用词过滤的python程序。
python-jieba文件包,解压后将两个文件夹放入 工程文件--->venv(或自定义的配置文件夹)--->Lib--->site-packages中使用
搜索引擎模式:在精简模式下,对长词再度切分 # -*- encoding=utf-8 -*- import jieba if __name__ == '__main__': str1 = '我去北京天安门广场跳舞' a = jieba.lcut(str1, cut_all=True) # 全模式 print('全...
在采集美女站时,需要对关键词进行分词,最终采用的是python的结巴分词方法。 中文分词是中文文本处理的一个基础性工作,结巴分词利用进行中文分词。 其基本实现原理有三点: 1.基于Trie树结构实现高效的词图扫描,...
delphi+Python结巴分词例子源代码,用到组件PythonForDelphi
生成词云 并且能够对生成的词云进行结巴分词
jiebafenci_search python利用结巴分词关键词自动提取 请确认安装jieba,安装方法pip install jieba 参考网址
jieba(结巴分词) 免费使用 HanLP(汉语言处理包) 免费使用 SnowNLP(中文的类库) 免费使用 FoolNLTK(中文处理工具包) 免费使用 Jiagu(甲骨NLP) 免费使用 pyltp(哈工大语言云) 商用需要付费 THULAC...
压缩文件之中包含了结巴中文分词的说明文档,以及Java,Python,C++的使用示例。对于自然语言处理(NLP)有帮助。
jieba(结巴)是一个强大的分词库,完美支持中文分词,本文对其基本用法做一个简要总结。...结巴分词分为三种模式:精确模式(默认)、全模式和搜索引擎模式,下面对这三种模式分别举例介绍: 精确模式 impo
python中中文分词的模块jieba,在python项目中对中文的词组进行自动划分,可以通过jieba模块进行划分
Python-jieba3k
结巴分词包
结巴分词(java版)只保留的原项目针对搜索引擎分词的功能(cut_for_index、cut_for_search),词性标注,关键词提取没有实现(今后如用到,可以考虑实现)。 * 简介 ** 支持分词模式 - Search模式,用于对用户查询词...
“结巴”中文分词:做最好PHP中文分词,中文断词组件,当前翻译版本为jieba-0.33版本,未来再慢慢往上升级,效能也需要再改善,请有兴趣的开发者一起加入开发!若想使用Python版本请前往现在已经可以支持繁体中文!...
基于Python的中文结巴分词技术实现
这个可以追溯到文献检索初期,当时还不支持全文搜索的时候,关键词就可以作为搜索这篇论文的词语。因此,目前依然可以在论文中看到关键词这一项。 除了这些,关键词还可以在文本聚类、分类、自动摘要等领域中有着...