聚焦爬虫,又称主题爬虫(或专业爬虫),是“面向特定主题”的一种网络爬虫程序。它与我们通常所说的爬虫(通用爬虫)的区别之处就在于,聚焦爬虫在实施网页抓取时要进行主题筛选。它尽量保证只抓取与主题相关的网页信息。
聚焦爬虫的研究核心,集中在以下两点:
(一) 主题相关度计算:即计算当前已经抓下来的页面的主题相关程度。对主题相关度超过某一规定阈值的,即与主题相关的网页,将其保存到网页库;不相关的,则抛弃不管。
(二) 主题相关度预测:主题相关度预测是针对待抓URL的。也就是我们在分析当前已下载网页时所分离出来的哪些URLS。我们要通过计算它们的主题预测值来决定接下来是否对该URL所对应的网页进行抓取。
针对以上两个问题,研究聚焦爬虫的学者们大体提出了如下思路和方法来进行该课题的研究:
(一) 基于网络拓扑结构的研究方法:网络的拓扑结构表征了网页间的一种链接关系,而大部分互相链接的网页间还是有一定的主题关联性的。比方说,一个介绍“计算机学科知识”的网站首页上可能会出现“数据库”、“操作系统”等相关子学科的链接。这种链接本身就体现了一种主题上的关联性。再者,了解PageRank和HITS算法的朋友都知道,网页间的链接关系还能反映网页的重要程度,越是重要的网页被别的网页链接到的机会便越大。而比较重要的网页往往聚集了最上层的主题,它的主题可以反馈到它所链接的所有网页中。
(二) 基于网页内容的分析算法:基于网页内容的分析算法指的是利用网页内容(文本、数据等资源)特征进行的网页评价算法。它包括纯文本的分类与聚类算法和超文本的分类聚类算法。纯文本即网页上的文字内容,分析它的主题相关度主要从两个方面入手,一个是它主题词出现的频率(词频),再者就是主题词出现的位置,我们知道在网页标题中出现的词汇往往更能反映网页的主题信息。超文本,就是网页连接上的文字信息。它一方面可以作为当前页面主题相关度的一个判别标准,更主要的,它被用作主题预测值的计算,即判断该URL所对应的网页的主题相关性。
(三) 基于URL的分析:主要还是用于主题预测。从三个方面进行考虑:
1 URL串自身所携带的信息。对于以下两个链接的分析:
URL1:http://beijing.koubei.com/fang
URL2:http://beijing.koubei.com/lvyoupiaowu/lvyou
我们很容易知道URL1是有关北京(beijing)的与“房(fang)”的话题,而URL2则是有关北京(beijing)方面与旅游(lvyou)有关,并且会涉及到旅游票务(lvyoupiaowu)的网页。
2 URL可分为三个部分 前面部分的主题信息可以反馈到后面的子目录中;
一个URL分成三个部分(去掉http协议部分):host,path,query。其中,path由一系列directory组成,query由一系列键值对组成。比如http://www.sdust.edu.cn/news_show.php?id=15 ,其host为www.sdust.edu.cn;path为/news_show.php;query为id=15,组成该query的键值对为(id,15)。URL的host往往说明的一个大的主题,如www.sdust.edu.cn所对应的是“山东科技大学”的网站,他的大主题就是“山东科技大学”;而其后的path则表征了有关与“山东科技大学”有关的子类主题信息,比如时事新闻、科研建设、校园活动等等;query项所对应的是最为具体的信息,该实例中id=15对应的就是“山东科技大学 — 信息中心 -- 科学研究”目录下的“科研概况”信息。
3 URL锚文本所体现的信息。
锚文本也叫链接文本,指超链接的文本内容,一般认为,锚文本代表了网页作者对超链接所指向网页的评价和描述。因此,锚文本可能不会为网页自身的主题预测提供有用的信息,但是它极有可能为它的目标网页的主题预测提供非常重要的信息。比如对于<a href=”hyperlink”>聚焦爬虫</a>,所代表的网页主题很可能是聚焦爬虫方面的。
扩展锚文本指锚文本和锚文本附近文本的组合。引入扩展锚文本的概念是为了更准确地预测目标网页的主题相关度。在有些情况锚下,文本仅仅是“点击这里”、“详细信息”等较抽象的描述,这个时候扩展锚文本比锚文本身更具有描述能力。
说了一大堆关于主题爬虫研究方面的东西,不知道有没有说清楚。希望感兴趣的朋友能对聚焦爬虫的研究发表自己的看法,提出一些计算主题相关度和进行页面主题相关性预测的办法。以对我有所启发,万分感谢!
相关推荐
python主题爬虫网站,主要是百度等一些核心网站的爬虫程序。
主题爬虫的完整实现,具有文章内容判重,主题相似度计算,url去重,通用正文抽取算法,网页内容分词,关键词自动抽取等功能。
针对传统主题爬虫的不足, 提出一种基于主题相关概念和网页分块的主题爬虫。先通过主题分类树获取主题相关概念集合, 然后结合主题描述文档构建主题向量来描述主题; 下载网页后引入网页分块来穿越“灰色隧道”; 采用...
主题爬虫的设计和解决方案
搜索引擎中主题爬虫 来自CNKI
面向BBS的主题爬虫系统的分析与设计,赵晓阳,辛阳,BBS是当前网络用户发表评论、自由交流的重要平台,也成为了用户需求和商业价值等重要信息的聚集地。主题爬虫是一种面向主题的信息
网络爬虫采用何种搜索策略和如何评价当前页面的主题相关度是基于主题的网络爬虫需要解决的关键问题。本文设计的网络爬虫采用广度优先搜索,对url进行解析、去重等。并应用Java多线程,使爬虫在抓取网页的过程中更...
主题爬虫的架构设计和实现 (期刊)
机械主题爬虫的设计与实现,李兆春,徐立章,由于通用搜索引擎检索返回的结果过多、主题相关性不强以及随着人们对提供的各项信息服务的要求越来越高、越来越细,基于整个Web �
python主题爬虫爬取与主题词相关的新浪新闻网页 .rar
主题爬虫论文的实现 北大天网搜索引擎TSE源码 北大天网搜索引擎TSE源码
主题爬虫论文
主题网络爬虫研究综述 网络爬虫相关研究论文
提出了基于贝叶斯分类器实现主题爬虫的方法,介绍了基于贝叶斯分类器的主题爬虫的系统结构以及系统关键部分的实现,包括URL队列、爬行历史、页面下载以及页面分析,并重点介绍了基于贝叶斯分类器的主题相关度算法。...
为提高主题爬虫的性能,依据站点信息组织的特点和URL的特征,提出一种基于URL模式集的主题爬虫。爬虫分两个阶段,在实验爬虫阶段,采集站点样本数据,采用基于URL前缀树的模式构建算法构建URL模式,形成模式关系图,...
爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文...
主题网络爬虫研究综述.pdf主题网络爬虫研究综述.pdf主题网络爬虫研究综述.pdf主题网络爬虫研究综述.pdf主题网络爬虫研究综述.pdf主题网络爬虫研究综述.pdf
主题网络爬虫的链接价值预测研究,张冉冉,苏放,本文首先研究主题网络爬虫基于内容评价的搜索策略和基于链接关系的搜索策略,并详细介绍了它们经典的代表性算法。在分析对比两种