补充：网站下面有这么一个目录/test，目录下有一个页面/test／l.html，robots里禁掉了蜘蛛访问/test目录的权限。在另外一个网站放上/test/l.html这个页面的超链接并且被蜘蛛抓取了，那么这个链接会不会获取权重，或者传递权重给网站主页？
回答：这个URL即便在其他地方被发现，但由于robots的缘故，它也不会被建索引。至于权重的问题，用最简单的逻辑做判断即可。
笔者注：如果被屏蔽的网页拥有大量的外链，那么这个网页也会被搜索引擎认为是对用户有价值的，不过由于robots的限制，搜索引擎并不会抓取和索引这个页面，但是会收录这个URL，但是没有摘要，标题也是使用的外链中的锚文本，比如淘宝网。至于会不会给首页导权重，可以站在网站整体的角度对待，网站整体获得的链接多了，代表你的网站比较受欢迎，网站整体权重就会高一些，这也会体现在首页上。不过这个问题对现实东莞seo工作的指导意义并不是很大，谁会为已经使用robots屏蔽的页面专门建设链接呢？通过对这种页面建设链接来提升首页权重，更是说不通的，但也可能这个站长有其他方面的考虑。
长按二维码关注我们
