不仅是日志分析,所有的数据分析工作都应该有其目的性,不然就失去了分析的意义。东莞seo人员分析日志一般有两个目标:了解网站内容和链接是否正常、了解搜索引擎Spider对网站的抓取情况。前者是为了发现网站运行中的问题并加以修复,保证网站的良好运营;后者是为了发现搜索引擎的抓取规律,并分析是否有优化的空间,引导搜索引擎多抓取指定重要内容而弱化对无关紧要页面的抓取,一般会配合搜索引擎对网站的收录情况进行分析。
因为网站日志记录了网站的所有访问数据,所以稍有规模的网站的单天日志可能会很大,少则几百MB多则几个GB。作为东莞seo人员,平时只需要分析搜索引擎的抓取情况就可以了,如果网站存在服务器错误和页面404之类的错误,一般都会在搜索引擎抓取中遇到,并且较普通用户的访问,搜索引擎的抓取可能更加全面。所以在进行日志分析前,可以根据分析目标先对日志进行精简,比如只提取出百度Spider和Googlebot的抓取记录来进行分析。当然也可以根据分析目的只提取指定时间段、指定lP、指定浏览器、指定来源页面或指定状态码的记录。根据分析目标把日志分析范围缩小和精简,可以大大提高分析效率及提升分析工作的质量。如果你想查看是否有垃圾爬虫或对网站运营无关的工具批量访问的lP,进行封禁以降低服务器和带宽的浪费,还是需要即时查看日志或分析整个日志文件的。