在指定要抓取的网址并配置了用于抓取的服务器之后,可以通过抓取并编制索引 > 抓取时间表页选择抓取模式,对于预定抓取模式,可以指定抓取您的服务器的次数。
抓取模式
Search Appliance 具有以下抓取模式:
- 持续抓取。 如果您想让抓取工具自动查找更新内容并编制索引,请选择该模式
-
预定抓取。 如果您想精确控制所有抓取的时间和持续时间,请选择该模式。 当出现以下情况时,预定抓取就会结束:
- 已经超过您指定的时间限制
- 抓取工具达到了您的许可指定的文档限制
- 抓取工具达到了“抓取并编制索引 > 主机负载计划”页上“抓取网址数量上限”下设置的限制
- 抓取工具已经抓取了所有可获得网址
这两种抓取模式都会使用“抓取网址”页上配置的相同网址。
- 点击持续抓取或预定抓取模式的单选按钮
- 点击保存抓取模式按钮
保存选择后,网页底部会显示所选抓取模式的相关信息:或是抓取时间表,或是持续抓取的抓取频度调节。 要了解有关配置预定抓取的更多信息,请参阅抓取时间表部分。
抓取时间表
抓取时间表允许您将抓取与发生在您的服务器上的其他任何系统活动(例如常规系统备份)结合起来。
您可以创建抓取时间表,也可以将抓取限制为指定的持续时间(以小时和分钟表示)。 如果您设置抓取时间限制,抓取工具会运行指定的小时数和分钟数,或者运行到抓取了所有网址时为止。 例如,如果您设置了两个小时的时间限制,并将开始时间安排为凌晨 2 点,那么除非抓取工具不到 2 个小时就完成抓取,否则它就会在凌晨 2 点到 4 点之间抓取您的服务器。
预定抓取:
- 要选择日期,请在开始抓取下拉列表中进行选择
- 要选择您希望开始抓取的时间,请在起始小时下拉列表中选择小时,并在起始分钟下拉列表中选择分钟
- 要限制抓取的持续时间,请在下拉列表中选择持续时间。 您可以选择最长为 24 小时 45 分钟的时间长度
- 点击保存抓取时间表按钮
点击添加更多的行按钮,可以创建更多的预定抓取。 这一操作会向时间表中增加更多行,用于添加额外的条目。
从上面可以知道,Google的几种抓取方式,一种是漫游器, 主要针对的是所有网站,它会一直运行,主要是用来收集网址。另外就是针对某一网站的限时抓取,所以怎么让搜索引擎在一定时间内索引到一定的页面就是SEO要做的内链的构建。同时搜索引擎一半在凌晨2点到4点之间大量抓取网页也是为了减轻目标服务器的压力。
相关推荐
Installing the Google Search Appliance.pdf Installing the Google Search Appliance.pdf Installing the Google Search Appliance.pdf Installing the Google Search Appliance.pdf Installing the Google Search...
ccs容器基于Apache Solr的Cisco Config Search Appliance(Docker Image)概述ccs-container是一个即用型Docker映像,用于索引和搜索基于Cisco的企业(或家庭)网络的配置。 它提供了以下用户界面: 这是什么意思,...
Google Search Appliance - JSON 前端 XSLT 中的这个 JSON 生成器专门用于匹配 GSP 格式 XML,该格式生成为许多搜索实现的通用格式。 JSON 将所有内容包装在一个主节点“GSP”中,然后通过将这些(如果存在)包装在...
一个Java库,作为Google Search Appliance的搜索协议XML API的包装。 XML API可从以下网址公开获得:http://code.google.com/gsa_apis/xml_reference.html此项目的主页和教程位于:http://gsa-japi.sf.net
java4gsa 用于搜索Google Search Appliance(GSA)的开源Java API
Google Apps 脚本 - GSA(Google Search Appliance)代理 在您的帐户中创建一个新脚本 新建一个脚本文件,复制里面的gsa-json-proxy.js的内容。 使用您的设置 GSA_URL 运行“测试”功能以启用权限 发布为 Web 应用...
vCenter Server Appliance 6.7 全系列
Practical Oracle Database Appliance Description: Practical Oracle Database Appliance is a hands-on book taking you through the components and implementation of the Oracle Database Appliance. Learn ...
GSA Ruby宝石通过单行进纸,搜索和刻面,快速,轻松地利用GSA索引功能。安装 gem install gsa默认端口默认端口设置为安全端口19902 要将端口更改为http,请将feed扩展名设置为以下... 15 , brand : 'BazBrand' }] 2.)
VMware vCenter Server Appliance 6.5 安装部署和升级
Veritas NetBackup 5250 Appliance
VMware vSphere Storage Appliance 安装和管理.pdf
kiwi, KIWI—Appliance生成器下一代 KIWI --下一代 KIWI,操作系统映像和设备生成器。 安装工具 。文档文档如果这个项目减少了你的开发时间自由购买我一个 Coffee 。
借助价格合理且易于管理的解决方案——McAfee Email and Web Security Appliance,可以保护您的企业免遭垃圾邮件、病毒、间谍软件、恶意网站的侵扰,同时还能防止不当的网上浏览行为。它是代替单点电子邮件和Web安全...
vRealize-Operations-Manager-Appliance-8.1.1.16522874_OVF10.ova
NetBackup 9.1.0.1 Application Guide for Flex Appliance 2.1
zabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。 zabbix能监视各种网络参数,保证服务器系统的安全运营;并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题。...
介绍Oracle Database Appliance,简单,快速,一体机,能够轻松购买的HA集群数据库系统。
VMware-vCenter-Server-Appliance-6.5.0.14000-7515524-updaterepo