浅谈搜索引擎日志分析（SEO）

对于网站优化来说，搜索引擎日志分析是必不可少的一块，无论你是收录上百的小型网站，还是收录上百万的大中型网站，SEO要想做得好，都必需进行科学的日志分析，日志是发生在网站服务器上的所有事件的记录，包括用户访问记录，搜索引擎抓取记录，对于一些大型网站来说，每天的日志都有好几个G大小的，我们可以使用linux命令去进行分离的，在大型网站日志文件往往是机密文件，一般人是看不到的，因为从日志里边可以分析访客趋势、地区趋势等，我们做SEO的不需要那么多数据，我们只要分析搜索引擎的抓取记录这一块就可以了，所以再大的数据量，如果经过处理后，也就不会特别大了，况且现在的硬盘这么便宜，存储日志文件还是可以考虑的。那么我们主要分析日志的什么数据呢？

一个合格的站长或者seoer必须要能看懂网站的服务器日志文件，这个日志记录了网站被搜索引擎爬取的痕迹，给站长提供了蜘蛛是否来访的有力佐证，站长朋友可以通过网站日志来分析搜索引擎蜘蛛的抓取情况，分析网站的是否存在收录异常问题。

1、每个搜索引擎的总体抓取量（以及趋势）

在日志文件中，明确的记录了每个搜索引擎的抓取量，例如百度、谷歌、搜狗等搜索引擎的抓取记录，我们都可以进行记录，使用DOS命令或者Linux命令都可以去实现的，搜索引擎的收录是由抓取量以及文章质量来决定的，当文章质量不变的情况下，蜘蛛抓取量越大，那么收录的就会越多，我们在进行日志分析 时候，一定要清楚的知道蜘蛛每天的抓取量到底是一个什么情况，而且每天都要记录，也许绝对值说明不了什么，我们可以去看它的趋势，当某一天抓取量的趋势在下降时，我们就要去找原因了。

2、记录搜索引擎蜘蛛的不重复抓取量

上一步我们把蜘蛛的抓取量数据给分析出来了，然后我们要进行去重，也就是搜索引擎的唯一不重复抓取量，其实对于收录来说，许多页面只要抓取一次就可以了，可是在实际操作的过程当中，许多页面都是被重复抓取的，谷歌的技术比较先进一些，重复抓取率也许会低一些，可是百度等搜索引擎，重复抓取率却非常高，你通过日志分析就可以看出来了，一天如果抓取量上百万，可能好几万次都是抓取首页的，所以许多数据你一定要去分析的，当你分析了后，你才会知道问题的严重性。

3、每个目录、每个搜索引擎的抓取量

上边两步把总体抓取量、不重复抓取量记录下来了，然后我们要分析出每个搜索引擎对每一个目录的抓取情况是怎么样的，这样利于进行分块优化，例如当你网站流量上升时，你可以知道是哪个目录的流量上升了，然后再往下推，看看是哪个目录的抓取量上升了，哪个目录的抓取量下降了，为什么下降，都可以进行分析的，然后在网站中进行适当的链接结构调整，例如使用nofollow标签等。

4、统计搜索引擎抓取的状态码

当搜索引擎抓取了你的页面后，不但抓取了你的内容，而且还会有一个抓取返回码的，这些返回码我们要记录下来，特别是一些类似301、404、500等这些状态码，我们从这些状态码中我们找出网站的一些潜在的问题，例如为什么会出现很多404页面，是程序原因，还是搜索引擎在抓取外链的时候提取错误，其实我们可以在谷歌管理员工具中看到这些数据的，里边还会提示你的错误的404页面出现在哪里，对于一些301状态码我们也要注意了，看下这些301是不是按照我们所希望的那样跳转的，网站中要尽量的少用跳转，页面在跳转的时候，往往会延长页面的加载时间，最常见的301可能就是网页URL不带“/”的跳转到带“/”的情况了，我们在网站中，要尽量的避免出现这样的情况。

5、统计搜索引擎蜘蛛来的次数、来的时间

我们可以使用一些日志分析工具，设定一个标准，例如光年日志分析工具，可以统计出每个搜索引擎蜘蛛每天来的次数，一天一共在我们网站停留了多久，有没有IP蜘蛛一天24小时都在我们网站不停的抓取，这样的蜘蛛越多越好，往往是你网站权重提升的表现。这样的数据可以每天都记录下来，在一定的时间段内，进行对比分析，看看停留的时间是不是增加了，来的次数是不是增多了，这样可以判断出网站权重是上升还是下降。

如果想要知道网站日志文件包含了什么内容，首先必须知道各搜索引擎的蜘蛛名称，比如百度的蜘蛛程序名称是baiduspider，Google的机器人程序名称是Google-Googlebot等等，我们在日志的内容里搜索上述的的蜘蛛名就可以知道哪个搜索引擎已经爬取过网站了，这里就留下了他们的蛛丝马迹。再者，必须能看懂常见的http状态码，最常见的HTTP状态码有200(页面抓取成功)、304(上次抓取的和这次抓取的没变化)，404(未找到页面，错误链接)500(服务器未响应，一般由服务器维护和出故障，网站打不开时出现的)，这些状态码是我们站长朋友必须能看懂的，服务器状态码的值是我们和蜘蛛交流的信号。知道了这些基本信息以后我们就可以根据网站日志进行分析了，一般来说我们只看百度和谷歌蜘蛛的爬行和抓取情况，当然有特殊需要的也可以对其他几个蜘蛛的爬行情况进行分析。网站日志中出现大量的谷歌蜘蛛和百度蜘蛛，说明搜索引擎蜘蛛时常来光顾你的网站。


　　说到分析日志文件，我们就不得不说分析日志文件的时机了，那么在什么情况下我们要去分析日志文件呢?首先，新网站刚建立的时候，这个时候也是站长朋友最急切的时候，我们一般都会焦急的等待搜索引擎收录网站内容，经常会做的事情就是去百度或者Google用命令site:下网站域名看看是否被收录，这个时候，其实我们没必要频繁的查询网站是否被收录，要想知道搜索引擎是否关顾我们的网站。我们就可以借助网站日志文件来查看，怎么看?看网站日志是否有搜索引擎的蜘蛛来网站抓取过，看返回的状态码是200还是其他，如果返回200说明抓取成功，如果返回404说明页面错误，或者页面不存在，就需要做301永久重定向或者302暂时重定向。一般抓取成功后被搜索引擎放出来的时间也会晚点，一般谷歌机器人放出来的比较快，最快可秒杀，但是百度反应就慢了，最快也要一周左右，不过11月份百度算法调整后，放出来的速度还是很快的。其次，当网站收录异常时我们要把正常收录的日志和异常的日志进行对比分析，找出问题所在，这样可以解决网站收录问题，也是对完整优化大有裨益的。第三，网站被搜索引擎K掉后，我们必须要观察网站日志文件来亡羊补牢，一般这种情况下，日志文件里只有很少的几个蜘蛛爬行了首页和robots，我们要找出被K的原因并改正，再提交给搜索引擎，接下来就可以通过观察日志来看蜘蛛是否正常来临，慢慢过一段时间，如果蜘蛛数量增加或者经常来临并且返回200状态吗，那么恭喜你，你的网站又活了，如果半年都没反应，那么建议放弃该域名重新再战了。


　　很多站长朋友不懂得如何利用网站日志文件，遇到网站收录问题就去提问别人，而不好好自检，这是作为站长或者seoer的悲哀。而且网上的很多软文都提到要做好日志文件的分析，但是那只是软文而已，说不定写文章的作者都没有去看日志文件。说到底，还是希望站长朋友一定不要忽略了网站日志文件，合理的利用好网站日志文件是一个站长或seoer必备的技能。再者说，看懂网站日志文件并不需要你有多么高深的编码知识，其实只要看得懂html代码和几个返回的状态码就可以了，一定不能懒，或者抱着侥幸心理去对待你的网站，这种心理会导致你输得很惨。如果你是一个小站长，或者你是一个seoer，如果你以前没有意识到网站日志文件的重要性，那么从看到我写的这篇文章开始要好好对待你的网站日志了。