为了限制搜索引擎对内容的抓取，可以采用以下几个Robots Meta标签：＜meta name="Robots" content="all|none|index|noindex|follow|nofollow"＞其中：all：文件将被检索，且页面上的链接可以被查询；none：文件将不被检索，且页面上的链接不可以被查询；index：文件将被检索；follow：页面上的链接可以被查询；noindex：文件将不被检索，但页面上的链接可以被查询；nofollow：文件将不被检索，页面上的链接可以被查询。但并不是所有的搜索引擎都支持meta中的robots标签，但是所有搜索引擎都支持一个功能更强的robots.txt的文本文件来达到上述功能（关于robots.txt文件应用的介绍，E书专家平文胜曾专门撰文详细解说"robots.txt和Robots META标签"）。其它常用meta标签还有：<META name author> 网站作者<META name classification> 网站所属目录类别<META name copyright> 版权声明<META name generator> 网站用什么软件做的 ……
首页、重要的内页的title和meta标签最好分别书写，针对栏目主题体现不同的内容。动态网页优化动态网站是指网站内容的更新和维护是通过一个带有数据库后台的软件，即内容管理系统(CMS)完成。一般采用ASP，PHP，Cold Fusion，CGI等程序动态生成页面。动态页面在网络空间中实际并不存在，它们的大部分内容通常来自与网站相连的数据库，只有接到用户的请求，在变量区中输入一个值以后才会生成。动态网页扩展名显示为.asp、.php、cfm或.cgi，而不是静态网页的.html或者.htm。其URL中通常出现"?"、"="、"%"，以及"&"、"$"等符号。网站使用动态技术的好处，除了增加网站交互功能，还具有容易维护和更新的优点，因此为许多大中型网站采用。
