为了提高网页的用户体验, 我们经常会做一些对搜索引擎不太友好的事情, 但某些情况下这并不是无法挽回的, 可以通过向自然人和搜索引擎机器人显示不同的内容来提供好的用户体验和 SEO.
听说本方法会触犯搜索引擎的一些操作原则, 有可能被被各搜索引擎处罚, 甚至删除网站. 所以我刚刚已经撤下这样的处理, 直到确定. 有魄力的朋友可以继续使用, 但后果自负.
本博客的首页和存档页面以列表的形式显示文章, 在访客点击展开文章时才加载文章的内容. 因为文章的内容部分包含了大量的文字和图片, 需要大量的加载时间和流量. 尽快地向访客展示网页可以挽留大量的来访者. 而对于手机用户来说, 加载时间和流量则更为重要.
一般来说, 网站的首页是搜索引擎访问最多的页面, 应该尽可能的向它们展示有意义的内容, 但是要以列表的形式显示文章的话, 访客和搜索引擎只能获取到文章标题信息. 文章内容或者摘要 (尤其是文章的第一句) 对于 SEO 来说是极其重要的, 所以我们要设法向爬虫发送这些内容.
好, 我们可以通过 User Agent 来判断访问者是否为爬虫, 如果是, 则以一般形式显示文章, 否则以列表形式显示文章列表. 可以用以下的 PHP 方法判断是否为爬虫:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
|
function is_crawler() {
$userAgent = strtolower($_SERVER['HTTP_USER_AGENT']);
$spiders = array(
'Googlebot', // Google 爬虫
'Baiduspider', // 百度爬虫
'Yahoo! Slurp', // 雅虎爬虫
'YodaoBot', // 有道爬虫
'msnbot' // Bing爬虫
// 更多爬虫关键字
);
foreach ($spiders as $spider) {
$spider = strtolower($spider);
if (strpos($userAgent, $spider) !== false) {
return true;
}
}
return false;
}
|
这是我使用的方法, 各爬虫以访问评论由高到低进行排序. 然后通过下面的的方法向爬虫和自然人显示不同的内容:
1
2
3
4
5
|
<?php if(is_crawler()) {
// 向搜索引擎显示的内容
} else {
// 向自然人显示的内容
} ?>
|
细心的朋友可能已经发现本站的首页显示和搜索引擎中的快照有点不一样. 是的, 要的就是这种效果.
PHP 处理方法上文已经提及, 其他语言处理相仿...
原文链接:http://www.neoease.com/show-diff-between-crawlers-and-guests/
分享到:
相关推荐
访客管理系统-面向过程
访客管理系统--速访通安全门卫解决方案
极光大数据-上海车展访客研究报告-5-30页.pdf
2019年上海车展访客研究报告-极光大数据-201905.pdf
用来判断访问者是国内用户,还是国外用户,然后转入相应的网页
这是我做的关于 新浪空间-访客-测试用例
极光大数据-汽车4S店访客画像-3-23页.pdf
ASP源码,压缩包解压密码:www.cqlsoft.com
1、什么是访客统计助手 访客统计助手就是通过一段JS代码连接本站独有的分析系统,获取您网站实时的访客QQ信息, 通过这类有意向的QQ访客,进行二次营销,尽可能地挽回您流失的客户,让您的流量与竞价费用不再白白...
java毕设,完整前后端源码,包含数据库,项目可正常运行。 环境说明: 开发语言:java 框架:springboot,vue JDK版本:JDK1.8 数据库:mysql5.7+(推荐5.7,8.0也可以) 数据库工具:Navicat11+ 开发软件:idea/eclipse(推荐...
访客系统原型设计-20170919 - 1.rp
智能楼宇二维码门禁访客管理系统解决方案-反扫0601.doc.pdf智能楼宇二维码门禁访客管理系统解决方案-反扫0601.doc.pdf智能楼宇二维码门禁访客管理系统解决方案-反扫0601.doc.pdf智能楼宇二维码门禁访客管理系统解决...
店铺访客数据-天.xls
2015最新网站获取QQ访客源码,测试可用,就是获取率有点低
解压程序,用eclipse打开,运行tomcat,在地址栏输入http://地址:8080/Test-IP
大数据-2019年汽车4S店访客画像-2019.3-23页.rar
极光大数据-2019年汽车4S店访客画像-2019.3-23页.pdf
仿cnzz多用户统计系统,功能强大,界面完美仿照cnzz统计!支持所有浏览器不乱码,程序是完整,没有删除任何东西,请大家放心使用,想建立自己的统计站点就这么简单! 安装的时候先还原数据库 sq_tongji_bkp_1.bak这...
爬虫统计:按访问量排序蜘蛛与爬虫,显示蜘蛛与爬虫的详细访问记录 设置 基础设置:开启与关闭蜘蛛或爬虫日志 统计代码:开关自动加载代码,获取统计代码 数据清除:清除缓存数据与访问记录数据
访客管理系统