在向量空间模型中,文本泛指各种机器可读的记录。用D(Document)表示,特征项(Term,用t表示)是指出现在文档D中且能够代表该文档内容的基本语言单位,主要是由词或者短语构成,文本可以用特征项集表示为D(T1,T2,…,Tn),其中Tk是特征项,1<=k<=N。例如一篇文档中有a、b、c、d四个特征项,那么这篇文档就可以表示为D(a,b,c,d)。对含有n个特征项的文本而言,通常会给每个特征项赋予一定的权重表示其重要程度。即D=D(T1,W1;T2,W2;…,Tn,Wn),简记为D=D(W1,W2,…,Wn),我们把它叫做文本D的向量表示。其中Wk是Tk的权重,1<=k<=N。在上面那个例子中,假设a、b、c、d的权重分别为30,20,20,10,那么该文本的向量表示为D(30,20,20,10)。在向量空间模型中,两个文本D1和D2之间的内容相关度Sim(D1,D2)常用向量之间夹角的余弦值表示,公式为:
其中,W1k、W2k分别表示文本D1和D2第K个特征项的权值,1<=k<=N。
在自动归类中,我们可以利用类似的方法来计算待归类文档和某类目的相关度。例如文本D1的特征项为a,b,c,d,权值分别为30,20,20,10,类目C1的特征项为a,c,d,e,权值分别为40,30,20,10,则D1的向量表示为D1(30,20,20,10,0),C1的向量表示为C1(40,0,30,20,10),则根据上式计算出来的文本D1与类目C1相关度是0.86
那个相关度0.86是怎么算出来的?
是这样的,抛开你的前面的赘述
在数学当中,n维向量是 V{v1, v2, v3, ..., vn}
他的模: |v| = sqrt ( v1*v1 + v2*v2 + ... + vn*vn )
两个向量的点击 m*n = n1*m1 + n2*m2 + ...... + nn*mn
相似度 = (m*n) /(|m|*|n|)
物理意义就是两个向量的空间夹角的余弦数值
对于你的例子
d1*c1 = 30*40 + 20*0 + 20*30 + 10*20 + 0*10 = 2000
|d1| = sqrt(30*30 +20*20 + 20*20 + 10*10 + 0*0) = sqrt(1800)
|c1| = sqrt(40*40 + 0*0 + 30*30 + 20*20 + 10*10) = sqrt(3000)
相似度 = d1*c1/(|d1|*|c1|)= 2000/sqrt(1800*3000)= 0.86066
分享到:
相关推荐
余弦相似度,又称为余弦相似性,是通过计算两个向量的夹角余弦值, 来评估他们的相似度。 余弦相似度将向量根据坐标值,绘制到向量空间中,如常见的二维空间。 余弦相似度衡量的是2个向量间的夹角大小,通过夹角的...
文档所给的是余弦相似度计算代码,在文本分类中用来计算相似度值,以此对文本分类
余弦相似度算法
(python)使用余弦相似度算法计算两个文本的相似度的简单实现
基于余弦相似度的人脸识别系统的实现 人脸识别是生物特征识别和人工智能领域的一个重要研究课题,基于余弦相似度的人脸识别系统的实现是其中的一种方法。该系统使用 PHP 语言并结合 OpenCV 计算机视觉库,利用计算...
余弦相似度算法
Java 实现推荐系统 两个字符串 余弦相似度 算法。
Matlab余弦相似度算法判断图片相似度并识别源代码 Matlab 余弦相似度 图像匹配 可直接运行 Matlab余弦相似度算法判断图片相似度并识别源代码 Matlab 余弦相似度 图像匹配 可直接运行
衡量两个向量x、y的相关性(夹角的余弦) MATLAB 代码 ,余弦相似度也被⼀些迁移学习研究所使用。
"改进的SIFT结合余弦相似度的人脸匹配算法" 人脸图像匹配是人脸识别、人脸替换等热点研究领域的基础。传统的图像匹配技术多适用于刚性物体,而人脸五官分布具有复杂性,同时由于人脸的五官可以根据表情改变而发生...
先将概念间可能存在的候选层次关系罗列出来,构建词性序列语义余弦相似度和关系词语余弦相似度混合的核函数分类器,将概念间层次关系的挖掘问题转换为分类问题;再通过对文本数据进行模板标注来训练分类器;最后输入...
NULL 博文链接:https://deepfuture.iteye.com/blog/1583934
Python3 实现的文章余弦相似度计算
余弦相似度算法
用2.7版本Python实现比较2个文档的相似度计算,采用余弦相似度方法,main函数中的fileName1和fileName2是自己构造的数据集,把这几个文档放在一起就可以运行。
余弦相似度算法的文档。
毕业设计,一个饭店管理系统,亮点是用余弦相似度算法写了个推荐菜的功能 毕业设计,一个饭店管理系统,亮点是用余弦相似度算法写了个推荐菜的功能 毕业设计,一个饭店管理系统,亮点是用余弦相似度算法写了个推荐菜...