站长在对自己的网站进行优化、改版、管理的过程中,不可避免地会出现被淘汰、删除或者无效的网页链接,这些链接就是死链。当网站死链数据积累过多时,线上的用户体验就会下降,点击转化率也受到影响。而通过传统百度Spider自行检查死链的方式发现这些死链接,会浪费站长额外的流量和带宽,甚至影响网站其他正常页面的抓取和索引,进而影响网站流量;这种检查死链的方法不仅会浪费百度大量的服务器带宽资源,同时已经被百度索引的网页被网站删除后,百度得不到及时的反馈,这样百度服务器就会存储大量互联网上已经不存在的网页,也会造成百度浪费大量服务器资源及搜索用户体验下降的情况。
针对以上这些问题,百度站长平台推出了死链工具,以达到既提升站长的网站用户体验、减少资源浪费,又帮百度及时清理无效网页的双赢目的。同时,当站长希望快速删除某些隐私或者重要页面的百度快照时,也可以将其HTTP状态码设置为404,然后通过死链工具推送给百度,以实现快速处理。死链页面本身的设计已有详细的讨论,在此不再冗述。
在死链工具推出的前后,百度站长平台的工作人员几乎是运动式地提醒各个网站“站长要特别注意站内死链!”,在站长平台运营人员的QQ状态中也是这种标语,可见死链对于百度网页搜索来说也是一大块心病。百度通过死链工具和站长的积极配合,就达到了双赢的目的,这个工具在实际使用中,还是比较给力的。
有些朋友可能会对死链工具有以下几个疑问。
(1)百度站长平台的异常抓取工具中有“404页面”的一项数据,百度直接自己把这个数据用上不就可以了吗,为什么还要麻烦站长提交呢?
百度站长平台刚刚推出此工具时,笔者也有过这方面的疑问,并且直接和站长平台的运营人员进行了面对面的交流。从而理解了百度站长平台这一行为:百度Spider识别死链也是需要一条一条抓取的,抓取异常工具中给出的数据只是示例而已,并不是网站的全部死链数据。
并且网站很可能会因为程序错误、服务器或带宽问题而返回404状态码,如果百度直接硬性地处理这些页面,则对网站和百度搜索都是不负责任的行为。站长主动提交的死链,可以给百度以“这些页面已经被网站删除了,而不是其他临时异常原因产生的死链”的确定信号,百度可以直接对这些网页的索引进行删除处理。并且针对网站改版或批量删除等操作产生的死链,站长可以很容易地提供比较全面的数据,而百度只能一条一条地多次重复确认式地去发现网站的死链,不仅不全面,还会浪费大量的资源。
(2)除了由于特殊原因批量操作而产生的大量死链,站长可以比较方便地提供外,由于日常偶尔删除或内页级别小改动而产生的死链,站长是没有能力全部捕获和提供的,这种死链怎么解决呢?
有些站长会通过分析网站日志提取404的记录,然后分析确定出已经被删除的网页来制作死链文件。其实这并不是十分必要的,死链工具更多地是为了解决“大量”死链问题,对于日常小操作而产生的小量死链,并不会对网站的用户体验产生太大影响,也不会耗费多少网站和百度的资源。此工具只是站长和百度之间的辅助工具而已,由日常运营所出现的死链接,百度应该还是有足够能力进行处理的。当然能够提供这种数据最好,没有能力提供也没有必要强求。
同Sitemap工具一样,在此有必要提醒大家的是:在百度站长平台前期的宣传材料和官方说明中,要求死链文件放到网站根目录下。这个要求并不是必需的,站长也可以把死链文件放到其他目录下,这也是向百度站长平台PM求证过的。百度站长平台已经对相关介绍进行了一定改动,大家只要了解并不要纠结文件是否一定放在“根目录”就可以了。
(3)如果死链文件和Sitemap中的URL有冲突会不会有什么影响?
正常的网站运营过程中,一般都会及时的把站内新增的URL写入到Sitemap中,但有时会因特殊情况不得不删除一些网页,根据百度的建议大家也会把这些删除的URL制作成死链文件提交到百度。由于单独把一部分URL从大量的Sitemap文件中删除是比较困难的,此时就有了一个问题,有部分已经删除页面的URL同时存在于Sitemap和死链文件中。可能会有一些朋友同笔者一样担心这种情况会不会对网站有不良影响。笔者在第二次百度“高端东莞seo俱乐部”的活动中就这个问题当面咨询了LEE。LEE的回应是死链文件的优先级会高于Sitemap,只要URL存在于死链文件中,百度在Sitemap中发现该URL也不会再抓取了,因此这种情况并不会对网站造成不良影响。虽然如此,不过为了有效利用百度站长平台给出的Sitemap提交数量的空间,在不太过耗费资源和精力的情况下,也应该及时的清理掉Sitemap中已经删除页面的URL,最常见的方法就是使用脚本定期重新生成Sitemap文件。
死链工具百度官方介绍地址:http://zhanzhang.baidu.com/wiki/95。