Baiduspider热门博客列表 - ITeye博客频道

博客专栏推荐

本月博客排行

年度博客排行

禁止搜索引擎爬虫抓取网站方法小结

本文主要通过查找网上资料，简单总结一下禁止搜索引擎爬虫抓取网站的方法。一般情况，大家都是希望搜索引擎爬虫尽可能多的抓取自己的网站，但有时也需要告诉爬虫不要抓取，比如，不要抓取镜像页面等。搜索引擎抓取自己的网站有它的好处，也存在许多常见问题： 1.网络堵塞丢包严重（上下行数据异常，排除DDOS攻击，服务器中毒。异常下载，数据更新） 2.服务器负载过高，CPU几乎跑满（针对相应的服务配置而定）； ...

爬虫禁止 Baiduspider Googlebot

ssx5210 评论(0) 有3122人浏览 2012-06-27 15:16

最近博客热门TAG

Java(141744) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54919) .net(54785) Web(54514) 工作(54118) Linux(50905) Oracle(49875) 应用服务器(43289) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37267) 数据结构(36424)

博客人气排行榜

博客电子书下载排行

>>浏览更多下载