网站日志是记录Web服务器运行状态信息的文件,在网站中以.log结尾,也可以说是网站服务器日志。
服务器会将接收到的用户访问具体信息、服务器返回状态等内容,记录在单独的日志文件中,它们以天为单位保存在服务器中。我们可以通过设置服务器自动保存在网站中,也可以在服务器商控制面板中下载日志到网站中。
网站日志中包含的信息有网站被访问的网页、访问端口、访问的时间、服务器的IP、服务器返回状态、用户的信息等,各个搜索引擎蜘蛛爬行信息也在其中。如下就是网站日志的几个搜索引擎爬行的记录,有百度蜘蛛、搜狗蜘蛛、谷歌机器人、搜搜蜘蛛、Bing机器人、雅虎蜘蛛:
网站日志是以天为单位记录的,在每天工作前可以查看前一天的日志。检查时注意以下三方面问题:
口观察网站被目标搜索引擎蜘蛛爬行的次数,看是否有减少的情况。通常使用网站 日志分析软件,查看目标搜索引擎的数据,如果爬行减少则可能导致网站收录的减少,而原因有可能是网站服务器不稳定、外链减少、网站内容价值过低、网站受到惩罚等。然后通过网站的实际情况,判断具体是哪些原因造成蜘蛛爬行减少。
如果要看所有搜索引擎的爬行是否减少,不用使用软件,只需要看当天日志文件的大小即可,例如平时文件都是3MB左右,而今天只有1MB,则说明蜘蛛爬行减少了。
1、查看日志中服务器状态是否正常。在网站日志中每行末尾的字符就是状态码,正 常的服务器状态码应该是200或者301,如果出现其他的代码,则表示服务器未正常给用户返回请求,根据错误代码,可以找到相应的错误网页,然后排除问题。
2、查看是否有搜索引擎惩罚监测蜘蛛爬行。在网站受到惩罚之前,通常有某些IP的 蜘蛛会爬行网站内容,然后判断是否有作弊等行为,然后进行下一步措施。例如,百度的123.125.68.* lP段的蜘蛛爬行,就有可能会受到惩罚。220开头IP的蜘蛛,大部分表示对网页的抓取。
分析网站日志可以提前预知网站是否会出现问题,当然网站出现问题时,也可以通过分析网站日志来判断问题的原因。简单地说,网站监测是防止问题产生、解决产生的问题的工作,而分析网站日志是预防问题产生的最重要的方式。