微软(BING)完全不遵守robots规则
以下是我的robots文件
User-agent: *
Disallow: /
结果在我的日志里却发现有大量的:
[26/Aug/2009:15:23:02 +0800] "GET /xxxxxx HTTP/1.0" 302 165 "-" "msnbot/2.0b (+http://search.msn.com/msnbot.htm)" 65.55.106.115
[26/Aug/2009:15:23:08 +0800] "GET /xxxxxx HTTP/1.0" 302 165 "-" "msnbot/2.0b (+http://search.msn.com/msnbot.htm)" 65.55.106.155
[26/Aug/2009:15:23:29 +0800] "GET /xxxxxx HTTP/1.0" 302 165 "-" "msnbot/2.0b (+http://search.msn.com/msnbot.htm)" 65.55.106.137
[26/Aug/2009:15:23:30 +0800] "GET /xxxxxx HTTP/1.0" 302 165 "-" "msnbot/2.0b (+http://search.msn.com/msnbot.htm)" 65.55.207.95
[26/Aug/2009:15:23:31 +0800] "GET /xxxxxx HTTP/1.0" 302 165 "-" "msnbot/2.0b (+http://search.msn.com/msnbot.htm)" 65.55.106.159
[26/Aug/2009:15:23:34 +0800] "GET /xxxxxx HTTP/1.0" 302 165 "-" "msnbot/2.0b (+http://search.msn.com/msnbot.htm)" 65.55.106.211
[26/Aug/2009:15:23:59 +0800] "GET /xxxxxx HTTP/1.0" 302 165 "-" "msnbot/2.0b (+http://search.msn.com/msnbot.htm)" 65.55.106.227
[26/Aug/2009:15:23:59 +0800] "GET /xxxxxx HTTP/1.0" 302 165 "-" "msnbot/2.0b (+http://search.msn.com/msnbot.htm)" 65.55.106.227
[26/Aug/2009:15:23:59 +0800] "GET /xxxxxx HTTP/1.0" 302 165 "-" "msnbot/2.0b (+http://search.msn.com/msnbot.htm)" 65.55.106.232
[26/Aug/2009:15:23:59 +0800] "GET /xxxxxx HTTP/1.0" 302 165 "-" "msnbot/2.0b (+http://search.msn.com/msnbot.htm)" 65.55.106.182
从日志来看,bing算法相当差,爬行的频率相当高。
这对于我这种动态的应用简直就是一个噩梦,无奈只能强行屏蔽
服务器使用的是nginx。
在配置文件中,添加如下代码:
if ($http_user_agent ~ (msnbot) )
{
return 404;
}
没想到大名鼎鼎的微软,居然也如此无赖
再次来到bing.com
输入
site:我的服务器的域名
可以看到已经没有快照了,虽然有大量的地址。。。。
分享到:
相关推荐
nginx开机自启动配置文件,在[CentOS 7.6 64位]系统下运行正常。 编译安装nginx后,将该配置文件放在服务器的/usr/lib/systemd/system/目录下,然后启动nginx服务。
本书第一部分首先讲述了Nginx服务器的功能、模块管理和进程管理,然后讲述Nginx如何处理请求,在这个基础之上再认识Nginx提供的服务器的名字,Nginx服务器最大的焦点在于高并发和反向代理,在不多却足够使用的模块...
Nginx配置文件——一级域名、二级域名
优化nginx大并发——轻松应对上万并发访问 优化Nginx突破十万并发 搭建web nginx服务器是网站开发必不可少的技能,学好了,给公司省大钱
隐藏窗口启动Nginx和PHP——Nginx1.14.2+php-VC15-x64+RunHiddenConsole+启动和停止脚本
本书第一部分首先讲述了Nginx服务器的功能、模块管理和进程管理,然后讲述Nginx如何处理请求,在这个基础之上再认识Nginx提供的服务器的名字,Nginx服务器最大的焦点在于高并发和反向代理,在不多却足够使用的模块...
本书第一部分首先讲述了Nginx服务器的功能、模块管理和进程管理,然后讲述Nginx如何处理请求,在这个基础之上再认识Nginx提供的服务器的名字,Nginx服务器最大的焦点在于高并发和反向代理,在不多却足够使用的模块...
mac无坑安装nginx(csdn)————程序
决战Nginx 技术卷:高性能Web服务器部署与运维
今天小编就为大家分享一篇关于Nginx服务器屏蔽与禁止屏蔽网络爬虫的方法,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧
nginx代理 从入门到实践 详细讲解分析,入门到精通,满足企业部署,反向代理,静态资源部署,并发
搭建nginx php时参考的网页,具体搭建过程见我的博客
java面试——Nginx面试专题.zip
有时候,web平台上线后,需要屏蔽某个服务接口,但又不想重新上线,可以采用nginx屏蔽指定平台接口的办法。 二、具体操作 在nginx的配置文件nginx.conf文件的server节点中,添加一个location,示例如下: location ...
nginx:alpine离线镜像包,使用docker load -i nginxalpine.tar
nginx-cookbook-recipes-high-performance
IIS 7.5 以下版本不支持多域名共用443端口 SSL 服务,采用nginx 单独处理来自443端口的请求,从而实现多域名 SSL 附件包含,图文设置nginx, nginx免安装包,可直接使用,已支持SNI(Server Name Indication)
实战Nginx取代Apache的高性能Web服务器.rar
nginx-rtmp + ffmpeg;rtsp视频转流所需工具;livepush.war包