如果确定网站的确需要制作XML地图引导一下Spider,就要考虑怎样制作这个XML地图了。对于XML地图的格式,网络上有很多介绍,百度站长平台的“推荐阅读”区Sitemap工具的介绍中也有详细讲解,在此就不多做介绍了。这里重点谈一下怎么来做这个XML地图。
很多朋友在网上寻找制作XML地图的工具,网上也确实有很多相关工具。这些工具一般需要你提交一个页面作为入口,然后模拟Spider抓取你的网站。笔者不认为这些工具的Spider比搜索引擎的Spider还要强大,这些工具的Spider能够抓取到的页面搜索引擎基本上都可以抓取到。并且对于网站内隐藏比较深的页面,这些工具也不一定能够抓全,所以不推荐使用站外XML地图生成工具。
作为站长或东莞seo人员,应该对自己的网站了如指掌。如果想制作XML地图,最好根据网站内容和数据库字段批量生成有效网页的URL。现在的网站差不多都是动态程序了,网站URL一般都是数据库驱动的。所以大家根据数据库的字段和网站URL结构进行对比组合批量生成就可以了,去除那些不希望被搜索引擎抓取的参数,只提取有效参数,才能制作出高质量的XML地图。这样的XML地图才可以方便Spider抓取正常情况下抓取不到的内容,方便搜索引擎抓取全站的内容。使用外部工具抓自己的网站不但消耗自己的服务器和带宽资源,抓取到的URL可能还会包含很多垃圾页面,更会降低这种XML地图的价值。
不过,如果确实没有能力根据数据库批量生成有效页面的URL,通过日志分析又发现有太多站内页面迟迟没有被搜索引擎抓取,本着“有总比没有强”的目的也可以使用站外工具制作一个XML地图提交到搜索引擎,在制作过程中及提交地图之前一定要检查一下地图中URL是否有错误,是否存在垃圾链接过多等问题。不提交Sitemap就只能等待搜索引擎发现网站的URL后才抓取,提交Sitemap后就是把网站的URL提交给搜索引擎直接抓取,提交Sitemap就相当于帮助搜索引擎省去了发现URL的步骤,相对来说会提升网站内网页被搜索引擎抓取效率。至于生成工具,Site Map Maker、SiteMap Builder等都是相对比较不错的,有需要的朋友可以了解一下。
所以,如果网站结构比较简单,网页也比较少,就没有必要纠结是否需要制作和提交网站地图;如果网站内页面比较多且有一定的技术能力,就可以按照数据库中的字段来批量为有内容的页面生成网站地图;如果网站内页面比较多,但又没有能力通过技术手段生成高质量的网站地图,那么也可以通过站外生成工具来制作,不过一定要严格检查生成URL的正确性和质量,如果提交太多垃圾页面的URL,就等于直接告诉搜索引擎你的站点内容质量不怎么样了。