为什么被robots屏蔽的网站还会被百度收录

笔者答：有两种情况：第一种是对已经收录了的网页使用robots屏蔽，老网页按照robots规则的删除时间会很长，可能会造成百度没有遵守robots规则的感觉；第二种是如果被屏蔽的网页获得了大量的外链，那么这个网页的内容不会被百度索引，但是这个网页的URL可能会被百度收录，多见于域名首页。比如淘宝网，淘宝商城的大量卖家商城二级域名。如果连URL都不想被百度收录，那么针对百度Spider返回404就可以了。