`
aben328
  • 浏览: 1458619 次
  • 性别: Icon_minigender_1
  • 来自: 广东
社区版块
存档分类

VMWare和Virtual PC虚拟机的比较收藏

阅读更多

一旦网站对外开放,并登陆到搜索引擎中,网络蜘蛛会定期来光顾采集。  当一个网络蜘蛛(有的叫搜索机器人)访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,那么搜索机器人就沿着链接抓取。

  目前看来,绝大多数的搜索引擎机器人都遵守robots.txt的规则。但这是只防君子不防小人,碰到网路坏爬虫就没辙了,有些搜寻引擎的 robot 根本不看网站的robots.txt,就一路抓下去,实在另人发指.

 

目前的网络蜘蛛大致分为4种:
1 真名真姓,遵循robots.txt 协议。
2 真名真姓,不遵循robots.txt协议。
3 匿名,不遵循robots.txt协议。
4 伪装:不遵循robots.txt协议。

 

  网路坏爬虫就是这些不遵守游戏规则,到处乱抓别人网站的内容的坏蛋。这样会造成网站运行压力的增大和流量增加,也就是费用的增加,或是不想被公开的资料也被抓取了,侵犯网站的隐私.

 

例如:

iaskspider 是"爱问"属於新浪网的 robot,完全不管 robots.txt

QihooBot,也是来自"奇虎网",浪费带宽

另有 larbin,iearthworm,yodaoice,lanshanbot,Outfoxbot 等等.


 碰到这种网路坏爬虫,只能想法阻挡它。Apache就可以挡住特定IP,但因為 robots大多有多个IP,过滤爬虫名字还是比较有效的,可以用BrowserMatchNoCase 来过滤.

 

用法像是:

<directory "/wwwroot">
Order allow,deny
Allow from all
BrowserMatchNoCase "iaskspider" badguy
BrowserMatchNoCase "QihooBot" badguy
BrowserMatchNoCase "larbin" badguy
BrowserMatchNoCase "iearthworm" badguy
BrowserMatchNoCase "Outfoxbot" badguy
BrowserMatchNoCase "lanshanbot" badguy
BrowserMatchNoCase "Arthur" badguy
BrowserMatchNoCase "InfoPath" badguy
BrowserMatchNoCase "DigExt" badguy
BrowserMatchNoCase "Embedded" badguy
BrowserMatchNoCase "EmbeddedWB" badguy
BrowserMatchNoCase "Wget" badguy
BrowserMatchNoCase "CNCDialer" badguy
BrowserMatchNoCase "LWP::Simple" badguy
BrowserMatchNoCase "WPS" badguy
deny from env=badguy
</directory>

如此,它们就会收到 Apache返回的错误码:  403 码:Forbidden

如果还不行就直接屏蔽IP地址段,增加

deny from 221.194.136.*

deny from 220.181.33.*

这两个IP段都是qihoo的

分享到:
评论

相关推荐

    Connectix Virtual PC虚拟机 5.2 汉化版

    在Connectix Virtual PC 5.2中,用户可以创建、配置和管理虚拟机。每个虚拟机(也称为虚拟硬盘或VM)都模拟了一个完整的硬件系统,包括CPU、内存、硬盘驱动器、网络适配器等。这种虚拟化技术使得用户能够同时运行...

    最好用的虚拟机软件,虚拟机软件,VirtualPC,汉化版3

    最好用的虚拟机软件,虚拟机软件,VirtualPC,汉化版

    VirtualPC虚拟机

    VirtualPC虚拟机是一款由Microsoft开发的虚拟化软件,它允许用户在一台物理计算机上同时运行多个操作系统,无需重新启动或额外的硬件资源。这个软件以其简单易用的特性而受到用户的欢迎,尤其适合那些需要在不同操作...

    VMWare和Virtual虚拟机格式互转工具(StarWindConverter)2.0英文安装版

    StarWind Converter(StarWind V2V Converter)是一个很专业的虚拟机格式转换软件,您安装虚拟机虚拟系统后它会自动生成一个虚拟的系统文件,虚拟磁盘、StarWind Converter这款可以帮您虚拟机虚拟磁盘格式转换工具,全...

    hyper-v虚拟机转换成vmware虚拟机的方法.docx

    该技术基于 Windows Virtual PC 的基础上发展而来,与虚拟机不同的是,该软件将直接使用部分物理设备如 CPU 而不进行虚拟化。 将 Hyper-V 虚拟机转换成 VMware 虚拟机需要使用 VMware Converter,它是一个可以将...

    VirtualPC.bkill虚拟机

    下载并解压之后,需要运行里面的“VirtualPC绿化.bat”注册组件,内置了英文、简体和繁体三种语言,在options里面可以修改语言 启动Microsoft Virtual PC后,在“file”菜单下面的“options” 找到Language,在右边...

    好用的虚拟机 Microsoft Virtual PC

    尽管Microsoft Virtual PC在某些方面可能不如VMware或VirtualBox强大,但其简单易用的界面和与Windows的紧密集成使其成为许多用户的首选。尤其是在企业环境中,用于测试新的软件更新或进行系统兼容性验证时,Virtual...

    virtual pc2007 win7 64位

    Virtual PC 2007是微软开发的一款免费虚拟机软件,它能够模拟一个完整的PC环境,包括硬件和操作系统。这个版本特别强调对Windows操作系统的支持,尤其是对于Windows 7 64位系统的兼容性,使得用户能够在原有的系统上...

    VMware - Virtual Machine importer (Users's Guide)

    在导入过程中,虚拟机和系统映像设置可能会发生以下变化: - **硬件配置**:根据目标平台的要求,可能自动调整CPU、内存等硬件参数。 - **操作系统设置**:为了确保兼容性和性能,可能需要对操作系统进行相应的调整...

    微软虚拟机——Microsoft+Virtual+PC+2007中文版.rar

    虽然 Microsoft Virtual PC 2007 在当时是一款优秀的虚拟化工具,但随着技术的发展,微软后续推出了 Hyper-V,以及其他公司如 VMware 和 Oracle 的虚拟化产品,它们提供了更高效、更先进的功能,例如更好的资源管理...

    Virtual PC 2007详细图文教程

    - 支持在虚拟机和宿主机之间通过拖放来复制文件。 - 改善图形性能,提高虚拟机的显示效果。 - 实现更高效的网络连接。 - 提供更多的键盘快捷键,方便用户操作。 2. **安装 Virtual Machine Additions**: - *...

    PC虚拟机装2003无声解决办法

    在使用Microsoft的PC虚拟机(Virtual PC)时,有时可能会遇到一些问题,比如在安装Windows 2003 Server系统后发现没有声音。这通常是因为虚拟机无法正确识别并安装声卡驱动导致的。以下是一种解决此类问题的方法: ...

    Virtual PC多开器 V2.5

    在Virtual PC多开器 V2.5中,用户可以创建并管理这些虚拟机,为每个虚拟机分配不同的硬件资源,如CPU核心、内存和硬盘空间,确保它们能独立运行各自的操作系统和应用程序。 虚拟化技术的优势在于: 1. **隔离性**...

    如何修改虚拟机中(Microsoft Virtual PC或VMware)的bios.docx

    如何修改虚拟机中(Microsoft Virtual PC或VMware)的bios.docx

    Virtual PC 5.0 和 MSDOS6.22《自己动手写操作系统》开发环境搭建(完全版)

    本文将详细介绍如何利用Virtual PC 5.0虚拟机软件和MSDOS6.22操作系统来搭建一个适合《自己动手做操作系统》的学习平台。这一过程可能会遇到一些挑战,但通过本文的详细步骤,相信能帮助初学者顺畅地完成环境搭建。 ...

    vmwareplayer(虚拟机软件)v14.1.1.7528167forlinuxx8664官方最新免费版

    vmware player(虚拟机软件)是一款免费的虚拟机软件,可以让PC用户在Windows 或Linux PC上很容易的运行虚拟机,vmware player支持的格式有:VMware Workstation、GSX Server/ESX Server、Microsoft virtual machines...

    virtual虚拟机

    2007版是在该产品线的一个较早版本,尽管现在已经有一些更新和更强大的虚拟机解决方案,如VMware Workstation和Oracle的VirtualBox,但VirtualPC2007因其兼容性和易用性仍被一些用户所青睐。 虚拟机的工作原理是...

    虚拟机格式互转工具虚拟机磁盘文件互转

    StarWind Converter 是一款专业的虚拟磁盘格式转换工具,允许用户将VMWare虚拟机专用虚拟磁盘格式(VDMK)与Microsoft Virtual PC虚拟机专用虚拟磁盘格式(VHD)、RAW虚拟字盘格式之间(IMG)互相换转。 可以实现VMWare和...

    virtual pc 设置 手册 详解

    - **轻量级**:相比其他虚拟机软件(如 VMware),Virtual PC 更为轻巧,适合普通用户的日常使用需求。 - **汉化支持**:提供官方的简体中文语言包,方便国内用户使用。 #### 三、安装步骤 1. **下载 Virtual PC ...

    (原创)给那些想使用linux又不想安装的朋友 更正:虚拟机用的是VMware文中写成了virtual PC给你造成的困扰十分抱歉

    这篇文章主要介绍了如何在Windows XP环境下使用虚拟机(此处使用的是Microsoft Virtual PC 2004)安装和运行Linux Red Hat 9.0,为那些想尝试Linux但不想在物理机上安装的用户提供了一个方便的方法。以下是详细的...

Global site tag (gtag.js) - Google Analytics