在看源码之前,先看几遍论文《基于角色标注的中国人名自动识别研究》
关于命名识别的一些问题,可参考下列一些issue:
<!--[if !supportLists]-->u <!--[endif]-->u名字识别的问题 #387
<!--[if !supportLists]-->u <!--[endif]-->u机构名识别错误
<!--[if !supportLists]-->u <!--[endif]-->u关于层叠HMM中文实体识别的过程
HanLP参考博客:
词性标注
层叠HMM-Viterbi角色标注模型下的机构名识别
分词
在HMM与分词、词性标注、命名实体识别中说:
分词:给定一个字的序列,找出最可能的标签序列(断句符号:[词尾]或[非词尾]构成的序列)。结巴分词目前就是利用BMES标签来分词的,B(开头),M(中间),E(结尾),S(独立成词)
分词也是采用了维特比算法的动态规划性质求解的,具体可参考:文本挖掘的分词原理
角色观察
以“唱首张学友的歌情已逝”为例,
先将起始顶点 始##始,角色标注为:NR.A 和 NR.K,频次默认为1
对于第一个词“唱首”,它不存在于 nr.txt中,EnumItem<NR> nrEnumItem = PersonDictionary.dictionary.get(vertex.realWord);返回null,于是根据它本身的词性猜一个角色标注:
由于"唱首"的Attribute为 nz 16,不是nr 和 nnt,故默认给它指定一个角色NR.A,频率为nr.tr.txt中 NR.A 角色的总频率。
此时,角色列表如下:
接下来是顶点“张”,由于“张”在nr.txt中,因此PersonDictionary.dictionary.get(vertex.realWord)返回EnumItem对象,直接将它加入到角色列表中:
加入“张”之后的角色列表如下:
“唱首张学友的歌情已逝” 整句的角色列表如下:
至此,角色观察 部分 就完成了。
总结一下,对句子进行角色观察,首先是通过分词算法将句子分成若干个词,然后对每个词查询人名词典(PersonDictionary)。
<!--[if !supportLists]-->u <!--[endif]-->若这个词在人名词典中(nr.txt),则记录该词的角色,所有的角色在com.hankcs.hanlp.corpus.tag.NR.java中定义。
<!--[if !supportLists]-->u <!--[endif]-->若这个词不在人名词典中,则根据该词的Attribute “猜一个角色”。在猜的过程中,有些词在核心词典中可能已经标注为nr或者nnt了,这时会做分裂处理。其他情况下则是将这个词标上NR.A角色,频率为 NR.A 在转移矩阵中的总词频。
维特比算法(动态规划)求解最优路径
在上图中,给每个词都打上了角色标记,可以看出,一个词可以有多个标记。而我们需要将这些词选择一条路径最短的角色路径。参考隐马尔可夫模型维特比算法详解
List<NR> nrList = viterbiComputeSimply(roleTagList);//some code....return Viterbi.computeEnumSimply(roleTagList, PersonDictionary.transformMatrixDictionary);
而这个过程,其实就是:维特比算法解码隐藏状态序列。在这里,五元组是:
<!--[if !supportLists]-->u <!--[endif]-->隐藏状态集合 com.hankcs.hanlp.corpus.tag.NR.java 定义的各个人名标签
<!--[if !supportLists]-->u <!--[endif]-->观察状态集合 已经分好词的各个tagList中元素(相当于分词结果)
<!--[if !supportLists]-->u <!--[endif]-->转移概率矩阵 由 nr.tr.txt 文件生成得到。具体可参考:
<!--[if !supportLists]-->u <!--[endif]-->发射概率 某个人名标签(隐藏状态)出现的次数 除以 所有标签出现的总次数
Math.log((item.getFrequency(cur) + 1e-8) / transformMatrixDictionary.getTotalFrequency(cur)
<!--[if !supportLists]-->u <!--[endif]-->初始状态(始##始) 和 结束状态(末##末)
维特比解码隐藏状态的动态规划求解核心代码如下:
for (E cur : item.labelMap.keySet())
{
double now = transformMatrixDictionary.transititon_probability[pre.ordinal()][cur.ordinal()] - Math.log((item.getFrequency(cur) + 1e-8) / transformMatrixDictionary.getTotalFrequency(cur));
if (perfect_cost > now)
{
perfect_cost = now;
perfect_tag = cur;
}
}
transformMatrixDictionary.transititon_probability[pre.ordinal()][cur.ordinal()] 是前一个隐藏状态 pre.ordinal()转换到当前隐藏状态cur.ordinal()的转移概率。Math.log((item.getFrequency(cur) + 1e-8) / transformMatrixDictionary.getTotalFrequency(cur)是当前隐藏状态的发射概率。二者“相减”得到一个概率 保存在double now变量中,然后通过 for 循环找出 当前观察状态 对应的 最可能的(perfect_cost最小) 隐藏状态 perfect_tag。
至于为什么是上面那个公式来计算转移概率和发射概率,可参考论文:《基于角色标注的中国人名自动识别研究》
在上面例子中,得到的最优隐藏状态序列(最优路径)K->A->K->Z->L->E->A->A 如下:
nrList = {LinkedList@1065} size = 8
"K" 始##始
"A" 唱首
"K" 张
"Z" 学友
"L" 的
"E" 歌
"A" 情已逝
"A" 末##末
例如:
隐藏状态---观察状态
"K"----------始##始
最大匹配
有了最优隐藏序列:KAKZLEAA,接下来就是:后续的“最大匹配处理”了。
PersonDictionary.parsePattern(nrList, pWordSegResult, wordNetOptimum, wordNetAll);
在最大匹配之前,会进行“模式拆分”。在com.hankcs.hanlp.corpus.tag.NR.java 定义了隐藏状态的具体含义。比如说,若最优隐藏序列中 存在 'U' 或者 'V',
U Ppf 人名的上文和姓成词 这里【有关】天培的壮烈
V Pnw 三字人名的末字和下文成词 龚学平等领导, 邓颖【超生】前
则会做“拆分处理”
switch(nr)
{
case U:
//拆分成K B
case V:
//视情况拆分
}
拆分完成之后,重新得到一个新的隐藏序列(模式)
String pattern = sbPattern.toString();
接下来,就用AC自动机进行最大模式匹配了,并将匹配的结果存储到“最优词网”中。当然,在这里就可以自定义一些针对特定应用的 识别处理规则
trie.parseText(pattern, new AhoCorasickDoubleArrayTrie.IHit<NRPattern>(){
//.....
wordNetOptimum.insert(offset, new Vertex(Predefine.TAG_PEOPLE, name, ATTRIBUTE, WORD_ID), wordNetAll);
}
将识别出来的人名保存到最优词网后,再基于最优词网调用一次维特比分词算法,得到最终的分词结果---细分结果。
if (wordNetOptimum.size() != preSize)
{
vertexList = viterbi(wordNetOptimum);
if (HanLP.Config.DEBUG)
{
System.out.printf("细分词网:\n%s\n", wordNetOptimum);
}
}
总结
源码上的人名识别基本上是按照论文中的内容来实现的。对于一个给定的句子,先进行下面三大步骤处理:
角色观察
维特比算法解码求解隐藏状态(求解各个分词 的 角色标记)
对角色标记进行最大匹配(可做一些后处理操作)
最后,再使用维特比算法进行一次分词,得到细分结果,即为最后的识别结果。
这篇文章里面没有写维特比分词算法的详细过程,以及转移矩阵的生成过程,以后有时间再补上。看源码,对隐马模型的理解又加深了一点,感受到了理论的东西如何用代码一步步来实现。由于我也是初学,对源码的理解不够深入或者存在一些偏差,欢迎批评指正。
关于动态规划的一个简单示例,可参考:动态规划之Fib数列类问题应用
文章来源hapjin 的博客
相关推荐
提出利用CRRM方法进行中、日及音译人名同步识别。该方法基于CRF(Conditional Random Fields)并结合了上下文规则及人名可信度模型。此外,利用局部统计算法对边界识别错误的人名进行修正,并利用扩散操作召回未被...
为了提高藏文人名识别的效果,提出了结合三层的层次特征的藏文人名识别算法。提出了无须分词,仅在藏文音节粒度上,基于藏文人名三层特征:内部特征、上下文信息、并列关系特征,利用条件随机场(conditional random...
根据中文人名的特点, 利用条件随机场模型进行 人名识别
中文人名识别 哈工大 软件学院 中文信息处理 刘秉权 java
中国人名作初步的提取,分析中国人名构成的内部特征和外部特征,提取出特征集,并总结出相应的识别规则,对候选人名进 行识别.在此基础上构建了一个中国人名识别系统,并对系统进行了测试,实验表明了算法的可行性...
深度学习模型的藏文人名识别方法.pdf
段 , 文本中的人名、地名以及其它专有名词和生词 大多被切分成单字词 , 在这种情形下如不能很好地 解决汉语文本中专有名词生词的识别问题 , 将给其 后的汉语文本的深入分析带来难以逾越的障碍。中 文姓名的自动识别...
本资源包含使用CRF++工具进行人名识别的所有资源,包括: 1.CRF++工具 2.语料库、程序、文档、实验结果等 2.1 语料库 2.2 语料库划分后的训练集、测试集 2.3 训练集,测试集进行处理后的结果 2.4 crf_learn用到...
中国人名识别 音译人名识别 日本人名识别 地名识别 实体机构名识别 关键词提取 TextRank关键词提取 自动摘要 TextRank自动摘要 短语提取 基于互信息和左右信息熵的短语提取 拼音转换 多音字 声母 韵母 声调 简繁转换...
HanLP是一系列模型与算法组成的NLP工具包,由大快搜索主导并完全开源,目标是普及自然语言处理在生产环境中的应用.HanLP具备功能完善,性能高效,架构清晰,语料时新,可自定义的特点。 HanLP提供下列功能: 中文...
针对汉语人名识别的难点,基于最大熵算法提出了结合多知识、多模型的识别方法,充分考虑了人名的内部特征(小颗粒特征)和人名的语境信息。论文的主要贡献是:将概率信息赋予最大熵模型,极大提高人名的准确率和召回...
基于深度学习和指代消解的中文人名识别.docx
HanLP是由一系列模型与算法组成的Java工具包,目标是普及自然语言处理在生产环境中的应用。HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。 HanLP提供下列功能: 中文分词 最短路分词 N-最短路...
本文件包括:Hanlp.py、Corgi_Demo.py、CorgiHMM.py; 利用cocoNLP的InfoExtra.py 等程序
该模型在继承了贝叶斯算法公式简单和具有一定学习能力的基础上,避免了人名规则的大量使用,同时克服统计方法中人名边界难于界定的问题.实验结果表明,其准确率和召回率分别为95.67%和97.78%.
python NLTK识别字符串中的人名等,命名实体识别-附件资源
自然语言处理期末大作业,基于CRF++和人民日报语料库(199801)的中文人名识别 - 不懂运行,下载完可以私聊问,可远程教学 该资源内项目源码是个人的毕设,代码都测试ok,都是运行成功后才上传资源,答辩评审平均分...
1. 修改了hanlp-portable-1.7.3源码中线程不安全问题 2. 修改了elasticsearch-analysis-hanlp-7.x.x插件源码对于es7版本适配性问题,更换新的hanlp-portable源码 3. 新增了人名,车牌,电子邮件,行政区划地址的感知...
HanLP是由一系列模型与算法组成的Java工具包,目标是普及自然语言处理在生产环境中的应用。 HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。 HanLP提供下列功能: 中文分词 最短路分词 N-最短路...