robots.txt
搜索引擎搜索网站根目录,或者是写网络爬虫,都应该有了解到robots.txt文件.
那么这个文件有什么用呢?下面我们给出它的定义及用途:
引用自:维基百科,自由的百科全书
robots.txt(统一小写)是一种存放于网站根目录下的ASCII编码的文本文件,它通常告诉网络搜索引擎的漫游器(又称网络蜘蛛),此网站中的哪些内容是不能被搜索引擎的漫游器获取的,哪些是可以被(漫游器)获取的。 因为一些系统中的URL是大小写敏感的,所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为,那么可以将自定的设置合并到根目录下的robots.txt,或者使用robots元数据。
Robots.txt协议并不是一个规范,而只是约定俗成的,所以并不能保证网站的隐私。注意Robots.txt是用字符串比较来确定是否获取URL,所以目录末尾有和没有斜杠“/”这两种表示是不同的URL,也不能用"Disallow: *.gif"这样的通配符。
例子:其他的影响搜索引擎的行为的方法包括使用robots元数据:
<meta name="robots" content="noindex,nofollow" />
例子:
让所有机器人访问所有文件,因为通配符"*"代表所有机器人:
User-agent: *
Disallow:
拦截所有的机器人:
User-agent: *
Disallow: /
禁止所有机器人访问特定目录:
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/
仅禁止坏爬虫访问特定目录(BadBot用真实的名字代替):
User-agent: BadBot
Disallow: /private/
PS:
虽然robots.txt的是老的和更为广泛接受的方法,还有其他的(可以用来连同robots.txt一起使用),允许更大的控制权,如只禁止索引图象和禁用归档页的内容。
Robots META标签则主要是针对一个个具体的页面。和其他的META标签(如使用的语言、页面的描述、关键词等)一样,Robots META标签也是放在页面的<head></head>中,专门用来告诉搜索引擎ROBOTS如何抓取该页的内容。
<meta name="robots" content="noindex,nofollow" />
分享到:
相关推荐
Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;...
robots.txt可以告诉搜索引擎您的网站哪些页面可以被收录,哪些页面不可以被收录,如果您不想让搜索引擎收录您网站的某些内容,请用robots.txt文件指定搜索引擎在您网站上的抓取范围。 此工具本人找了很久,源码...
在国内,网站管理者似乎对robots.txt并没有引起多大重视,应一些朋友之请求,今天想通过这篇文章来简单谈一下robots.txt的写作
robots.txt使用方法 反爬虫 SEO.zip
robots.txt解析器_Ruby_下载.zip
搜索引擎机器人文件,上传到你网站的根目录,并改文件名为robots.txt即可..让你的网站更好的优化
搜索蜘蛛:什么是robots.txt,要怎么写?
robots.txt是一个纯文本文件,在这个文件中网站管理者可以声明该网站中不想被robots访问的部分,或者指定搜索引擎只收录指定的内容。 当一个搜索机器人(有的叫搜索蜘蛛)访问一个站点时,它会首先检查该站点根目录...
一个经典的wordpress的robots.txt的写法 下载后直接复制就行了 略微调一下也行的 文件来自:www.52jiwai.com 分享时请注明来处!
主要为大家介绍了帝国CMS中robots.txt文件用法,详细分析了robots协议的原理与使用技巧,并实例讲述了帝国CMS中robots.txt文件的使用方法,需要的朋友可以参考下
用来生成robots.txt文件的Vuepress插件
setUrl ( 'http://nodeguide.ru/robots.txt' , function ( parser , success ) { if ( success ) { parser . canFetch ( '*' , '/doc/dailyjs-nodepad/' , function ( access ) { if ( access ) { // parse url
:robot: robots.txt即服务 :robot: :construction: 开发中的项目 通过API访问权限的分布式robots.txt解析器和规则检查器。 如果您正在使用分布式Web爬网程序,并且想要礼貌行事,那么您会发现此项目非常有用。 另外...
robotstxt-webpack-plugin 使用webpack生成robots.txt 。 为什么您需要 ? 用于软件包的Webpack插件。入门首先,您需要安装robotstxt-webpack-plugin : npm install --save-dev robotstxt-webpack-plugin webpack....
robots.txt是一个纯文本文件,在这个文件中网站管理者可以声明该网站中不想被robots访问的部分,或者指定搜索引擎只收录指定的内容。 robots.txt基本介绍 robots.txt是一个纯文本文件,在这个文件中网站管理者可以...
从“ robots.txt”文件中推导出CMS:如果可用,将浏览该文件,并且该文件上的“ Disallowed”条目将为我们提供足够的信息,以推断此处安装了CMS。 第二步(2)是浏览robots.txt不允许的条目,
机器人该软件包以Go编程语言为Robots Exclusion Protocol提供了robots.txt解析器。 该实现遵循。 该代码简单明了。 此程序包公开的结构仅包含基本数据类型,因此可以使用Go的encoding程序包之一轻松对其进行编码和...
内容索引:脚本资源,Ajax/JavaScript,Robots 在线生成Robots.txt 的Js脚本,能帮助新手快速正确的建立 网站的Robots.txt文件,建立一个支持Google(谷歌) 、 Baidu(百度) baiduspider 、 Sogou(搜狗) sogou spider 、...
WordPress博客的robots.txt文件写法得根据自身网站情况来定,当然我们可以借鉴一些知名网站的robots.txt写法,比如可以看wordpress教程网的robots.txt,可以通过访问:http://www.shouce.ren/robots.txt 获取 ...
Robots.io 是一个 Java 库,旨在简化网站“robots.txt”文件的解析。 如何使用 类提供了使用 robots.io 的所有功能。 例子 连接 要使用 User-Agent 字符串“test”解析 Google 的 robots.txt: RobotsParser ...