最近，群里一个朋友反应，使用百度robots工具更新网站robots文件的时候，报错：无法访问您网站的robots.txt文件。如图：
为此，笔者给其罗列了无法访问您网站的robots.txt文件的原因：
第一，空间服务器不稳定，导致百度robots工具无法抓取和访问。
解决办法：
等空间服务器稳定再提交。并且注意换稳定的空间服务器。
第二，技术方面设置robots权限存在问题，导致robots文件并不正常返回状态码200；而是返回状态码500、403等其他状态码。
解决办法：
让技术方面给予搜索引擎蜘蛛抓取的读写权限即可。一般设置普通用户的权限即可解决。
第三，在屏蔽恶意抓取和访问的时候，将百度蜘蛛的IP给屏蔽了。
解决方法：
（1）打开命令处理器 输入nslookup xxx.xxx.xxx.xxx（IP地 址）就能解析ip， 来判断是否来自Baiduspider的抓取，Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即为冒充。
（2）将百度蜘蛛的IP从屏蔽里面删除即可。
