上一次,我用TF-IDF算法自动提取关键词。
今天,我们再来研究另一个相关的问题。有些时候,除了找到关键词,我们还希望找到与原文章相似的其他文章。比如,"Google新闻"在主新闻下方,还提供多条相似的新闻。
为了找出相似的文章,需要用到"余弦相似性"(cosine similiarity)。下面,我举一个例子来说明,什么是"余弦相似性"。
为了简单起见,我们先从句子着手。
句子A:我喜欢看电视,不喜欢看电影。
句子B:我不喜欢看电视,也不喜欢看电影。
请问怎样才能计算上面两句话的相似程度?
基本思路是:如果这两句话的用词越相似,它们的内容就应该越相似。因此,可以从词频入手,计算它们的相似程度。
第一步,分词。
句子A:我/喜欢/看/电视,不/喜欢/看/电影。
句子B:我/不/喜欢/看/电视,也/不/喜欢/看/电影。
第二步,列出所有的词。
我,喜欢,看,电视,电影,不,也。
第三步,计算词频。
句子A:我 1,喜欢 2,看 2,电视 1,电影 1,不 1,也 0。
句子B:我 1,喜欢 2,看 2,电视 1,电影 1,不 2,也 1。
第四步,写出词频向量。
句子A:[1, 2, 2, 1, 1, 1, 0]
句子B:[1, 2, 2, 1, 1, 2, 1]
到这里,问题就变成了如何计算这两个向量的相似程度。
我们可以把它们想象成空间中的两条线段,都是从原点([0, 0, ...])出发,指向不同的方向。两条线段之间形成一个夹角,如果夹角为0度,意味着方向相同、线段重合;如果夹角为90度,意味着形成直角,方向完全不相似;如果夹角为180度,意味着方向正好相反。因此,我们可以通过夹角的大小,来判断向量的相似程度。夹角越小,就代表越相似。
以二维空间为例,上图的a和b是两个向量,我们要计算它们的夹角θ。余弦定理告诉我们,可以用下面的公式求得:
假定a向量是[x1, y1],b向量是[x2, y2],那么可以将余弦定理改写成下面的形式:
数学家已经证明,余弦的这种计算方法对n维向量也成立。假定A和B是两个n维向量,A是 [A1, A2, ..., An] ,B是 [B1, B2, ..., Bn] ,则A与B的夹角θ的余弦等于:
使用这个公式,我们就可以得到,句子A与句子B的夹角的余弦。
余弦值越接近1,就表明夹角越接近0度,也就是两个向量越相似,这就叫"余弦相似性"。所以,上面的句子A和句子B是很相似的,事实上它们的夹角大约为20.3度。
由此,我们就得到了"找出相似文章"的一种算法:
(1)使用TF-IDF算法,找出两篇文章的关键词;
(2)每篇文章各取出若干个关键词(比如20个),合并成一个集合,计算每篇文章对于这个集合中的词的词频(为了避免文章长度的差异,可以使用相对词频);
(3)生成两篇文章各自的词频向量;
(4)计算两个向量的余弦相似度,值越大就表示越相似。
"余弦相似度"是一种非常有用的算法,只要是计算两个向量的相似程度,都可以采用它。
下一次,我想谈谈如何在词频统计的基础上,自动生成一篇文章的摘要。
http://www.ruanyifeng.com/blog/2013/03/cosine_similarity.html
相关推荐
TF-IDF算法的优点是简单快速,结果比较符合实际情况
主要为大家详细介绍了TF-IDF与余弦相似性的应用,找出相似文章,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
TF-IDF与余弦相似性的应用(一):自动提取关键词 这个标题看上去好像很复杂,其实我要谈的是一个很简单的问题。 有一篇很长的文章,我要用计算机提取它的关键词(Automatic Keyphrase extraction),完全不加以人工...
Moviebox:基于内容的机器学习推荐系统利用tf-idf和余弦相似性算法
余弦相似性获取文章相似度的java实现,tf-idf算法实现
在文本相似度算法基础上加入语义处理,从已有历史地址库中搜索匹配相似地址。 问题描述 片区划分在物流行业中比较重要,揽收、派送、运输路径规划、配车等核心作业都不同程度依赖片区规划。 传统解决方案一般重度...
基于统计的文本相似度量方法大多先采用TF-IDF方法将文本表示为词频向量,然后利用余弦计算文本之间的相似度。此类方法由于忽略文本中词项的语义信息,不能很好地反映文本之间的相似度。基于语义的方法虽然能够较好地...
数据集:包含两个实现的数据集-> u.data,u.user(带有EM的GMM的数据集) -> ContentBased.txt(链接到与TF-IDF的余弦相似性的数据集) 演示文稿:包含Midsem和Endsem演示文稿的演示文稿文件。 -> Outliers_
2、主要使用的算法是tf-idftf:term frequency词频idf:inverse document frequency倒文档频率主要思想是:如果某个词或短语在一篇文章中出现的频率高,并且在其他文章中很少出现,则认为此词或者短语具有很好的类别...
Facebook、Twitter和LinkedIn产生了大量宝贵的社交数据,但是你怎样...•应用诸如TF-IDF、余弦相似性、搭配分析、文档摘要、派系检测之类的先进挖掘技术 •通过基于HTML5和JavaScript工具包的网络技术建立交互式可视化
TF-IDF和余弦相似度是一种非常普遍的技术。 它允许系统快速检索类似于搜索查询的文档。 同样,基于相同的概念,而不是检索类似于查询的文档,它会检查查询与现有数据库文件的相似程度。 脚步: 用户输入查询 查询...
Facebook、Twitter和LinkedIn产生了大量宝贵的社交数据,但是你... •应用诸如TF-IDF、余弦相似性、搭配分析、文档摘要、派系检测之类的先进挖掘技术, •通过基于HTML5和JavaScript工具包的网络技术建立交互式可视化
相似性匹配系统 这个是一个《电商标题数据相似度匹配系统》,使用方法有:tfidf +词袋模型,余弦相似度,word2vec 1.基本方法 1.1结巴分词 1.2 TF-IDF 1.3余弦相似度 1.4 word2vec 2.项目:《电商标题数据相似度...
为了进一步改进个性化搜索方法,通过对现有个性化搜索方法的研究,提出了一种新的搜索方法...设计了基于余弦相似性计算并综合匹配的标签个数的资源相关性计算方法。通过MovieLens数据集实验,验证了提出方法的有效性。
相似性 该项目使用稀疏矩阵提供了几种KNN(K最近邻)相似性算法的快速Python实现,这在协作过滤推荐系统等中很有用。 该软件包还包括一些归一化功能,这些功能可能在相似度计算之前的预处理阶段有用。 相似之处 ...
在此基础上,利用余弦相似性、Jaccard相似性和改进的余弦相似性公式,计算工人间融合兴趣和能力的综合相似度,依此来选取近邻集并最终生成推荐.利用猪八戒网采集的数据进行实验,结果表明该方法的有效性,并通过对比...
目的是展示如何通过提取诸如TF.IDF和嵌入之类的特征来准备基于文本的数据集,以建立机器学习模型:除了使用提取的特征来提取文档分类(受监管)和文档聚类(不受监管)之外,执行文本(余弦)相似性分析。...