有些网站使用Session ID(会话ID)跟踪用户访问,每个用户访问网站时都会生成独特唯一的Session ID,加在URL中。搜索引擎蜘蛛的每一次访问也会被当成一个新的用户,URL中会加上一个不同的Session ID,这样搜索引擎蜘蛛每次来访问时所得到媳同一个页面的URL将不一样,后面带着一个不一样的Session ID。这也是最常见的蜘蛛陷阱之一。
搜索引擎遇到这种长长的Session ID,会尝试判断字符串是Session ID还是正常参数,成功判断出Session ID就可以去掉Session ID,收录正常URL。但也经常判断不出来,要么不愿意收录,要么收录多个带有不同Session ID的URL,内容却完全一样,形成大量复制内容,这两种情况对网站优化都不利。
通常建议跟踪用户访问应该使用cookies而不要生成Session ID。或者程序判断访问者是搜索引擎蜘蛛还是普通用户,如果是搜索引擎蜘蛛,则不生成Session ID。跟踪搜索引擎蜘蛛访问是没什么意义的,蜘蛛既不会填表,也不会把商品放入购物车。