官方回答:百度严格遵循搜索引擎robots协议(详细内容,参见http://www.robotstxt.org/)。你可以设置一个robots文件以限制你的网站全部网页或者部分目录下的网页不被百度收录。具体写法,参见:如何撰写robots文件(笔者注:http://www.baidu.com/search/rdots.html)。
如果你的网站在被百度收录之后才设置robots文件禁止抓取,那么新的robots文件通常会在48小时内生效,生效以后的新网页,将不再建入索引。需要注意的是,robots.txt禁止收录以前百度已收录的内容,从搜索结果中去除可能需要数月的时间。
如果你的拒绝被收录需求非常急迫,可以在反馈中心反馈,我们会尽快处理。
笔者注:robots的生效时间很多地方说法都不统一,其实根本没有标准时间。根据官方的解答,更新robots后,会感觉到百度在比较快地遵守新规则,并按照新规则决定收与不收新网页,但是老网页不会被即时处理。所以如果以新网页来判断robots的生效时间,会感觉比较快:如果以老网页来判断robots的生效时间,可能会感觉百度并不遵守robots,或时间太长。网站的大小也有可能会影响这个“生效时间”。如果实在想快速删除百度索引,也可以通过技术手段针对百度Spider返回404,然后通过站长平台提交死链,但是普通用户还可以正常访问。
关注我们