最近新的网站，瑞昌山药网上线，除了是拿来做各种试验，验证自己对seo的想法外，的确也是想推广家乡的特产。
略过这些，今天在给网站写入robots.txt的时候，发现了很多争议，其中一点就是需要不要将css/js写进去，纠结半天后，我还是没写。
最后，我是这样写入的：
稍微解释一下后面几个文件的意思：
include织梦的核心文件夹，里面放点都是织梦的程序文件
templets这个是织梦的模板文件
data是织梦存放网站数据信息的文件，里面涉及到网站的数据安全
rcshanyao是我网站的后台文件，织梦默认的是dede。
将这些文件都屏蔽后，有个uploads文件，里面网站一些上传来图片，我希望这些图片被抓取所以没有禁止，如果你不希望被抓取也可以写进去。
最下面两个是网站地图，其中html你放进去也可以，不放也行，只要记得把xml放入就行。
重点说说css/js为何没有写进去，主要依据如下（此段得益于网友指教）：
1、css：
根据对数个网站的服务器WEB日志的跟踪分析发现：不管你是否在Robots.txt中禁止对CSS文件的抓取，百度仍然会高频抓你的css文件。
为什么？因为，包括百度在内的所有搜索引擎，必需要根据样式表来分析你的网页和用户体验性是否友好，网页前端是否规范，网页是否适合移动端浏览。
还有一点更重要的，在搜索引擎与黑帽灰帽SEOer的博奕中，搜索引擎必需从样式中分析网站是否存在一个重要的作弊行为：隐藏文本！所以，CSS文件不应该在robots.txt文件中被禁止。
2、js脚本：
这是seoer产争议之处。JS多用于一些页面效果或作为跟踪脚本等，看起来似乎不需要搜索去抓取分析。但是事实上，基于与CSS文件相同的理由，搜索引擎有必要去解析JS内容与JS呈现的效果。
因为JS要用于控制CSS的效果，也可以用来显示一些非HTML文本的内容。谷歌对JS的解析非常强大，而百度稍弱。
所以我也没有将它们禁止，毕竟大家都知道现在百度是越来越智能了。
当然，这仅仅是建议，因为有些人认为将它们写入可以减少带宽压力，提供干净的索引环境，这也无可厚非。
同时，我们也可以借鉴别人网站的写法，在他们网站首页后输入/robots.txt，回车就可以查看了。
不是科班出身，
不是名师门下，
不是大站站长，
只是暂时还喜欢seo，
便想把实践的经验和你分享。
