补充：User-agent: SosoSpider
Crawl-delay:5
抓取时间和频率限制是否支持呢？
回答：可以在robots中的crawl-delay中设置，这个参数是baidu Spider对网站访问频率的重要参考信息之一，但Spider系统会根据网站规模、质量、更新频度等多方面信息综合计算得出最终的执行压力，因此并不保证严格遵守crawl-delay中的设置值。
笔者注：这是Lee在2011年9月的回答了，希望大家注意到百度站长平台最新发布的公告是“不支持”。站长可以通过站长平台的“压力反馈”工具对百度蜘蛛抓取压力进行调整。公告地址：http://zhanzhang.baidu.com/wiki/63。需要了解的是，现在除了Yahoo以外，其他所有的搜索引擎都没有任何限制抓取速度的robots协议。
扫描二维码，关注我们吧
