大家经常使用搜索引擎，如百度，搜狗，谷歌等，去查询并获取自己想要的信息。但大多数人并不清楚这些搜索引擎的工作原理，今天就和大家一起聊聊其中的故事，揭开它们的神秘行踪。 每个搜索引擎都有自家的机器人软件，我们称它为蜘蛛，我们以百度蜘蛛（baiduspider）为例，去浏览互联网中的数据，然后分析过滤，把最符合用户搜索的内容进行排名呈现给用户，我们把这个过程概述为抓取→过滤→收录→排序。那么想要网站被收录有一个好的排名，必须经过以上四个步骤。一：抓取 Q：百度蜘蛛是如何进行抓取的？ A：①通过外链来到我们网站进行抓取；②我们通过百度站长平台主动提交给搜索引擎的网址来抓取。 Q：如何知道百度蜘蛛是否来过网站？ A:①通过百度站长平台，查看网站的索引量和抓取频次；②在网站空间的后台，下载服务器日志，查看即可知是否有抓取。Q：如何判断是否冒充Baiduspider的抓取？ A：①站长工具IP查询（http://ip.chinaz.com/）；②nslookup ip命令反解ip来源判断是否来自Baiduspider的抓取，如 nslookup使用 电脑运行cmd C:UsersAdministraor>nslookup 220.181.108.95 服务器:ns2.hn.cnc.cn Address:58.20.127.238 名称: baiduspider-220-181-108-95.crawl.baidu.com Address:220.181.108.95 Q：不利于抓取的因素有哪些？ A：①中文路径；②路径太长，层次太多（最好控制在三层）；③拒绝蜘蛛抓取。如用robtos协议，禁止引擎来抓取；④由于服务器问题，无法访问，导致无法抓取，此时应尽快联系服务商。二：过滤 Q：常见的影响过滤的因素有哪些？ A：①识别。flash，各种跳转（301除外），框架结构（frame），图片，动态url，JS链接，要求登录，强制使用cookies等；②网页加载速度太慢；③网站的权重低，信用度差；④页面质量差；⑤页面内容相似度高（40%为准）。PS:查询页面相似度工具：tools.jzp.cc/compare/
三：收录Q：收录的查询方法有哪些？ A：①通过百度站长平台查询；②通过搜索引擎查询。1，如果查询单个页面可以直接在搜索引擎中输入其url；2，如何查询整站要利用site：，如 site：sohu.com 四：排序 经过以上程序后，搜索引擎会再经过一系列的算法进行处理，达到一定分值的网页便会有（较好的）排名，甚至会被索引。 Q：影响所谓的分值的因素有哪些？ A：①网站的优化，包括结构优化，页面优化，外部链接优化等；②用户投票得分 通过以上描述，你是否对搜索引擎以及蜘蛛有了一些认识，想要了解更多，成为一个真正的SEOer，就和我一起在seo马龙继续学习吧！
