这些spider知识，是你应该知道的
spider也就是大家常说的搜索引擎爬虫、蜘蛛或者搜索引擎机器人。它是处于整个搜索引擎最上游的一个模块，只有spider抓回来的页面才会被索引和参与排名。
这里有一点需要注意，只要是spider抓到的URL都可能会参与排名，但参与排名的网页并不一定就被spider抓取到了内容。
spider离不开入口，所谓的入口就是页面的链接。没有链接的页面，spider是无法进行抓取的。
spider根据作用和特征可分为3类，分别是批量型spider、增量型spider和垂直型spider。
1、批量型spider
是一种限制性spider，限制性表现在爬取得范围受到限制，抓取的时间和数量受到限制。达到预先设置的抓取目标就会停止。站长常用的采集程序就是批量型的spider。
2、增量型spider
也叫做通用爬虫。这是一种无限制的spider，可无休止的抓取下去，直到抓取完毕为止。当页面发生变化时，也可进行二次抓取。目前主流的搜索引擎百度
谷歌等全文搜索引擎的spider所派出的爬虫都属于增量型spider。
3、垂直型spider
也叫聚焦爬虫， 有特定的抓取范围。
现在我们常见的图片搜索、视频搜索、新闻搜索等都属于垂直搜索范畴。抓取这些内容的spider叫做垂直型spider。需要特别指出的一点是，其实垂直型spider完全可以看做是有一定限制性的增量型的spider。
在这3类spider中，增量型spider是最为常见的一种spider。
