我们网站建设论坛认为 所有的搜索引擎都表示自己的对网站的抓取行为和普通用户的访问行为没有太大区别。站在普通用户的角度这句话的确没有问题，但是站在站长和SEO的角度这句话就不太对了。
资料图
网页上有很多东西普通用户看不到也分辨不清，但是spider可以，网页上也有很多东西普通用户可以看到并分辨清楚，但是spider不可以。可以说spider是一个既聪明又弱智的普通用户，spider有着普通用户访问行为的大部分特性，但是也有不少差异。
spider（搜索爬虫）可以分辨出网页中是否有隐藏内容’是否被挂了黑链等，但是不能完全了解网页中图片的内容，更不能读取javascirpt, iframe和flash中的内容，普通用户却恰恰相反;是恰恰相反，没有referer,对网站的抓取全部都是直接访问。
而普通用户中除了直接访问的用户外一般都是有referer的；spider对网站的访问没有referer，但是普通用户是有的；spider不会主动注册登入网站，但是普通用户是可以的；原则不会抓取和分析网站robots中已经屏蔽的内容，但是普通用户是可以正常访问的；
spider对于有多个动态参数网站的抓取，可能会陷入死循环，但是普通用户是不会的; spider对于列表中前几页的新内容抓取可能不好，但是感兴趣的普通用户会依次浏览; spider暂时还不能真正判断文章是不是原创，但是普通用户可以通过多种方式来确定文章是原创还是采集转载等。
spider毕竟是人为技术驱动的程序，与普通用户还是有着非常大的区别的，因此给了站长和SEO人员很大的操作空间。站长和SEO人员在充分了解到spider和普通用户的区别后，可以更方便地优化网站，使得网站内容被充分抓取。
网站整体在搜索引擎中有个良好的表现；同时也 可以利用两者的区别，使得在不影响搜索引擎抓取和排名的情况下，给普通用户更友好的用户 体验。
比如，判断用户referer给用户推荐内容等；当然，不排除有些站长和SEO人员会利用这些区别，采用很多极端的技术作弊手法，在普通用户感觉不到的地方，误导spider对网站内容 的判断，而恶意抢夺很多本不应该得到的搜索流量，这是不可取的。无论如何，都有必要深入了解两者的差异。
这一部分内容应该是搜索引擎原理中非常重要的一部分，并且网络上和其他SEO相关书籍 中已经把这部分内容分析得很透彻，合肥SEO优化小编并不能够对这些原理性的内容写出多么新的内容，所 以在此只对重点内容进行简单分析。
很多站长和SEO人员在对SEO书籍和网络文章中的这部分 内容进行阅读时，都会一扫而过，其实这部分内容中有不少东西值得仔细研究思考，并运用到日常SEO的工作中。不论是白帽SEO还是黑帽SEO，在这一部分都有很多技术和逻辑上的操作空间。在以下的阶段中，我们会把对SEO工作比较有指导意义、相互交流，哪怕每天只要更新一篇原创，有一人看了就满足了，这就说明有了收获……
微信公众号kehuseo
设别二维码关注
