补充：网站上线测试时用robots.txt禁止抓取过，之后将robots限制解除，打开一段时间之后将robots.txt文件删除，删除之后几天又重新添加了robots.txt文件，经过6月2日-22日的日志观察，百度只访问robots.txt，代码为：
2 011-06-16 06:27:11 W3SVC4 6543651 61.155 .161.18 3GET /robots. txt -80 119. 63 .196 .120 BaiduSpide r+ (+http://www. baidu. com/search/spider .htm) 200 0 0
robots解除禁止抓取状态，需要一段时间生效的话，这个周期是多久呢？希望这个网站上的内容尽快恢复正常抓取、建立索引和显示！
LEE回答：百度发现robots设置并更新抓取状态，正常情况在7天以内。
笔者注：robots的任何修改，百度都需要一定的时间更新。根据观察，这个时间根据网站大小权重的不同，长短也是不同的，有的可能远不止7天。
原回答地址：http://bbs.zhanzhang.baidu.com/thread-6286-1-2.html
长按二维码关注我们
