Robots协议用来告知搜索引擎哪些页面能被抓取，哪些页面不能被抓取；可以屏蔽一些网站中比较大的文件，如：图片，音乐，视频等，节省服务器带宽；可以屏蔽站点的一些死链接。方便搜索引擎抓取网站内容；设置网站地图连接，方便引导蜘蛛爬取页面。
robots.txt文件是一个文本文件的格式存放在网站根目录下，robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。那么robots协议怎么编写呢？
接下来四叶草小编给大家讲讲robots协议如何编写以及注意事项。
robots协议语法：
User-agent: *
Disallow: /
Allow: /
User-agent
定义搜索引擎。如：百度蜘蛛 BaiduSpider；谷歌蜘蛛 GoogleBot；360蜘蛛 360Spider； SoSo蜘蛛Sosospider; 有道蜘蛛 YoudaoBot; 搜狗蜘蛛sogouspider；等等
Disallow 定义禁止抓取收录地址（注意：冒号后面的为关键词，路径里面出现该关键词的全部会被直接屏蔽）
Allow 定义允许抓取收录地址
"*"和"$"的含义：Baiduspider 支持统配符"*"和"$"来模糊匹配url。
“*”匹配0或多个任意字符；“$”匹配行结束符：
通过上边的内容，我们已经知道该如何编写robots协议了，那大家了解什么情况需要屏蔽吗？
小编来和大家一起探讨：
1、统一路径；
2、路径是搜索链接；
3、标签链接；
4、中文链接；
5、js文件；
注意事项： 符合使用的细节：/ : 空格 大小写，生效时间，几天或者两个月以后，切记不要随便屏蔽整站。
以上内容是四叶草小编总结的网站搜索引擎协议robots编写，希望可以帮助到大家，小编每天都会送上一些SEO技术，希望各位小主喜欢！
本文出自四叶草博客，原文地址：http://www.sjzseo010.com/?p=131，转载请保留原作者,谢谢！
关注微信公众平台
1、微信“添加好友”点击“搜号码”输入“sjjsiyecao”或者“四叶草SEO”点击关注
2、扫描以下二维码
如对您有帮助或是想让更多的朋友知道，请点击右上角，在弹出的菜单中选择“发送朋友”或“分享至朋友圈”
QQ热线：983561356
