昨天研究的NUTCH, 是个完整的项目,虽然功能很强, 但据说自定义性并不是很出色(自己还没有时间去时间一下), 所以现在有必要研究一下单纯的Crawl, 这里有JSPIDER(java), LARBIN(c++, 好像一定要在LINUX环境下,不知道有没有WINDOWS版的), websphinx(java)。(另外carrot2 聚类搜索也挺有意思,LARBIN的相关资料http://www.matrix.org.cn/thread.shtml?topicId=22644&forumId=32)。
根据毕业设计的题目要求:
----------------------------
对Web搜索引擎返回的页面进行自动的分类。Web搜索引擎返回的页面是动态的,其文档分类的类别是未知的、不固定的。根据页面内容自身的差异,使用文档聚类的方法对页面进行自动归类。本系统包含以下几个子功能:<o:p></o:p>
1.从搜索引擎获得Web页面<o:p></o:p>
2.Web网页文档的预处理<o:p></o:p>
3.文档聚类算法<o:p></o:p>
4.Web文档聚类结果的可视化展现<o:p></o:p>
要求:<o:p></o:p>
Java/C++编程;<o:p></o:p>
数据挖掘算法;
----------------------
发现论文题目的意思可能并不是要自己实现爬虫从网上抓取网页, 可能直接从其他web搜索引擎得到网页(很郁闷,到现在导师还不开会,确定我们的论题,害得我们这么早跑到学校又不知所错,还有是要做成自动归类还是自动聚类也没搞清楚)。所以下午研究了下GOOGLE API,也看了一下元搜索引擎,还没仔细看,先记录到这里了。
分享到:
- 2007-03-03 00:59
- 浏览 3217
- 评论(1)
- 论坛回复 / 浏览 (1 / 4698)
- 查看更多
相关推荐
2.1.3 Scrapy爬虫架构 4 2.2 SQL注入漏洞 4 2.3 XSS漏洞 4 3 系统设计与实现 6 3.1 系统整体设计 6 3.2 爬虫模块的设计与实现 6 3.2.1 爬虫模块的设计 6 3.2.2 爬虫模块的实现 7 3.3 XSS扫描模块的设计与实现 8 3.4 ...
研究目的及意义 (一)现状 1. 应届毕业生关注重点难点:找工作+租房子 2. 招聘网站繁杂:拉勾网、BOSS直聘、前程无忧等 3. 各个大学的就业信息网站成熟 4. 租房网站众多:链家网、我爱我家等 (二)缺点 1. 仅提供...
第4章 系统设计与实现 9 4.1系统应用架构 9 4.2系统总体功能设计 9 4.3数据库数据结构设计 9 4.3.1数据库的概念 9 4.3.2数据库的概念设计 9 4.3.3关系型数据表设计 10 4.4核心功能模块设计与实现 10 4.4.1模块实现 ...
4 系统详细设计 13 4.1 系统模块设计 13 4.1.1 数据采集模块 13 4.1.2中文分词模块 18 4.1.3相似度匹配模块 22 4.1.4数据展示模块 25 4.2系统异常处理 29 4.2.1爬虫异常总体概况 29 4.2.2爬虫访问网页被拒绝 29 5 ...
毕业设计:Python web漏洞挖掘技术实现与研究(源码 + 数据库 + 说明文档) 2 Web应用程序漏洞检测技术 3 2.1 网络爬虫 3 2.1.1 网络爬虫原理 3 2.1.2 爬取策略 3 2.1.3 Scrapy爬虫架构 4 2.2 SQL注入漏洞 4 2.3 XSS...
这里为你收集整理了关于毕业设计、课程设计可参考借鉴的资料一份,质量非常高,如果你投入时间去研究几天相信肯定对你有很大的帮助。到时候你会回来感谢我的。 本资源是经过本地编译测试、可打开、可运行的项目、...
Python 完整项目,可作为 Python 毕业设计,Python 课程设计,包含:项目源码、数据库脚本、软件工具等,前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷,具有很高的实际应用价值。...
Python 完整项目,Python 毕业设计,包含:项目源码、数据库脚本、软件工具等,前后端代码都在里面。可用于 Python 毕业设计,Python 课程设计,Python 期末大作业。 该系统功能完善、界面美观、操作简单、功能齐全...
这里为你收集整理了关于毕业设计、课程设计可参考借鉴的资料一份,质量非常高,如果你投入时间去研究几天相信肯定对你有很大的帮助。到时候你会回来感谢我的。 本资源是经过本地编译测试、可打开、可运行的项目、...
(基于python的毕业设计)反爬虫技术的研究(源码+说明+演示视频),本科毕业设计高分项目。 【项目技术】 python+Django+mysql+b/s 【实现功能】 此次利用python来进行爬虫与反爬虫的设计,主要是通过python来进行爬虫...
这里为你收集整理了关于毕业设计、课程设计可参考借鉴的资料一份,质量非常高,如果你投入时间去研究几天相信肯定对你有很大的帮助。到时候你会回来感谢我的。 本资源是经过本地编译测试、可打开、可运行的项目、...
python毕业设计之反爬虫技术的研究源码.zip
机器爬虫运动步态策略研究
这里为你收集整理了关于毕业设计、课程设计可参考借鉴的资料一份,质量非常高,如果你投入时间去研究几天相信肯定对你有很大的帮助。到时候你会回来感谢我的。 本资源是经过本地编译测试、可打开、可运行的项目、...
基于Python的网络爬虫系统的设计与实现
【基于Python+Django的毕业设计】反爬虫技术的研究(源码+录像演示+说明).zip 【项目技术】 python+Django+mysql+b/s 【实现功能】 此次利用python来进行爬虫与反爬虫的设计,主要是通过python来进行爬虫的识别以及...
毕业设计是高等教育阶段学生完成学业的一个重要环节...学术规范: 毕业设计要求学生按照学术规范完成研究,包括文献综述、研究设计、数据采集与分析、结论和讨论等环节。学生需要撰写一篇完整的毕业论文,并进行答辩。
基于音乐网站的过滤式网络爬虫的研究毕业设计论文.doc
- Python 应用领域广泛,适合多种类型的毕业设计项目,包括但不限于数据分析、机器学习、Web应用程序、网络爬虫、自动化脚本、科学计算、图形用户界面开发等。 4. **强交互性和调试便捷**: - Python 提供了交互...