最近在优化贷款的网站，刚接手时有点头疼，网站架构一塌糊涂，网站也有JS代码和FLASH，而且面包屑、导航、URL都没整过，URL是很长一串的动态地址，基本上除了写了三个标签和做了301跳转，就没见到任何的SEO优化。还好公司有几个程序员和网站设计员，先把JS代码和FLASH删掉，还有把面包屑、导航、架构给设置好。但在把动态URL转化为伪静态时，公司同事没注意，出错了，导致类似于死循环的大量复制伪静态，十分纠结。这些页面会导致蜘蛛无法爬行，影响其他页面的收录;太多垃圾页面也会降低用户体验;影响服务器的处理速度等，危害很大，要及时处理，下面跟大家介绍下如何清理大量错误的重复页面的方法
不过由于以前也碰到过这类问题，解决方法也不难，有这么几种比较简单的方法：
1、用ROBOTS.TXT文件把不存在的URL屏蔽掉
2、把找不到记录的URL设置成直接跳出404页面
3、利用301，把动态页面跳转到正确的静态页面
4、用nofollow标签把错误页面屏蔽，不让蜘蛛爬取。
1和2两个方法不适合现在这网站，新的URL已经出来了，蜘蛛也爬行过了，如果再用ROBOT.TXT文件屏蔽的话，屏蔽掉一些被收录了的页面，对搜索引擎不友好，对以后优化会有一定的影响，所以第一个方法不适合;而网站出现了大量的重复URL，如果直接跳出404页面的话，会降低用户体验，太多404，蜘蛛也会不耐烦的，所以第二个方法也不适合;用nofollow的话，错误页面那么多，要一个个添加，太麻烦了，也不合适。
分析完后，我就决定用第三个方法，用301来跳转，但还有个问题就是：301只能在页面代码中的，有错误页面时，如果直接增加301的话，会导致服务器崩溃的。所以我打算结合301跳转和ROBOTS.TXT文件，分两步来解决这个问题：
1、我是先用301跳转，首先要做的是把已经收录的动态地址的页面跳转到所要改的静态页面上，然后要把伪静态页面和动态页面给分辩出来，可以给伪静态页面加个参数来区别那些动态的错误页面，分辨出那些是动态的错误页面就可以直接处理掉了。
2、还有个问题是就算全部都转伪静态了，但还会有许多循环出来的伪静态地址，这时候我就设定ROBOTS.TXT文件，把错误的重复页面都屏蔽掉。
做好后再用工具检查了一下页面，错误页面没了，URL也都统一了。
不管是301跳转还是robot文件，都是很有用处的，尤其是robot文件，设置好了可以屏蔽网站重复页面、可以保护网站的安全、可以屏蔽一些不想蜘蛛抓取的内容、可以提交网站地图等作用，而搜索引擎来网站时一般都是先抓取robot文件内容，对网站非常重要，稍有不甚可能就导致网站出现很多问题，所以我们平时都要多接触一些这种层次稍微深点的东西，来丰富自己SEO的知识，而不是每天麻木的发外链和更新文章，这样到头来，什么都不是，只是初级的外链人员，不会有什么发展。
最后想说的是，处理问题的方法有很多种，但是有些方法会留下一些后遗症，处理好这个问题，可能就带来下一个问题，所以在优化过程中，尽量干净利索的把问题斩断。做SEO在发现问题时，也要及时的进行处理。
