深度解析搜索引擎爬虫的工作原理

网络营销评论69

  作为一名合格的 SEOER,我们接触的是网站,接触的是搜索引擎,既然如此,那么我们就必须对搜索引擎有一定的了解,只有这样才能做出效果。严格来说搜索引擎是通过一种“爬虫(蜘蛛)”这样的计算机程序来抓取我们网页上面的信息的,总体来讲,搜索引擎爬虫的工作原理一共分为抓取、过滤、收录索引、排序四大环节,下面我们一起来看一下。

深度解析搜索引擎爬虫的工作原理-图片1

抓取

  抓取环节是第一步,搜索引擎收录你网页的第一步,它是指搜索引擎爬虫通过链接访问你的网站,进而进行深度和广度的抓取,深度抓取是指从上至下抓取,广度抓取则是指从左往右抓取,并且这两种抓取方式都是同时进行的。通常爬虫会抓取你网页上的文字、链接、图片等等信息,或者从严格意义上说,爬虫其实抓取的是你当前网页的代码。

过滤

  过滤环节是指当前页面信息被爬虫抓取之后,它会将抓取的信息放入搜索引擎的一个临时数据库中,这个临时数据库是用来暂时存放和筛选过滤信息的容器,爬虫将抓取到的信息放入临时数据库中之后,接着它就会继续去别的网站执行任务去了。而暂时存放在临时数据库中的网页信息这个时候将被根据页面的质量接受筛选过滤处理,从而决定该页面是否被收录还是被过滤掉,这就是一个过滤的环节。

收录

  收录环节在这里指的是那些存放在搜索引擎临时数据中,通过筛选环节并且顺利通过考核的页面,则会进入到收录环节。但是该页面被收录并不意味着可以被搜索到,它还需要有更具实际意义的索引,这样才能被用户搜索查询到,所以在这里收录并不等于索引(不信去百度官方看文档)。

  很多站长都认为网页是需要先被搜索引擎收录之后才被索引,其实这是一种不正确的认识。一个被收录的网页我们可以通过搜索该页面的链接地址查看到结果,但是当我们去搜索当前网页全标题的时候却找不到,其实这就是网页被收录了,但是并没有被索引的情况。正是因为该页面没有进入搜索引擎的索引库当中,所以用户无法检索到。

排序

  排序通常都是最后一个环节了,一旦你的网页通过了收录索引这个环节,那么这个时候其实就可以参与排序检索了,但是通常网页排序又会跟众多因素有关,所以我们是无法保证该页面的排序位置的。不过在这其中最直观的影响应该还是网页内容质量和网站的权重,这两者影响非常大,这也是为什么有的老网站发布一篇帖子就能排名在首页,而你发布一篇帖子排名都找不到的原因之一。

  以上就是分享的关于搜索引擎爬虫工作原理四大环节的解析,虽然描述的还不是特别详细,还有很多细节方面的东西没有描述出来,但是有的东西想要完全用文字表达出来确实也有一定的难度。不过通过上文来看的话相信大家还是可以获取到很多信息的。

  还是那句老话,看过了并不代表领悟了,不实际吸收运用我不过又浪费了你几分钟而已,意义不大!好好珍惜现在的时间,好好享受现在的工作,恐怕之后的日子里你再也无法体会到当下的演出了!

深度解析搜索引擎爬虫的工作原理-图片2

免责声明:本文来源于网络,由小编网络整编而成,旨在弘扬正能量,绝无商业目的,版权归原作者所有,若有不妥之处请联系处理。

深度解析搜索引擎爬虫的工作原理-图片3

深度解析搜索引擎爬虫的工作原理-图片4深度解析搜索引擎爬虫的工作原理-图片5

 
挑战攻略新闻营销策略 网络营销

挑战攻略新闻营销策略

该活动旨在让更多人关注渐冻人,并达到募款帮助治疗的目的。ALS冰桶挑战赛在全美科技界大佬、职业运动员中风靡。活动规定,被邀请者要么在24小时内接受挑战,要么就选择为对抗“肌萎缩侧索硬化症”捐出100美...
无线淘宝:2015年做微商不如做手淘 网络营销

无线淘宝:2015年做微商不如做手淘

现在无线端是个大头,好多人都发现了也听到好多人会说,无线端的流量和交易要比PC端的高,然后大家就都跑去做无线端,但是,大家有好好的分析过你自己的产品到底适合无线端吗?估计好多人木有好好分析过,希望大家...
再见,武汉! 网络营销

再见,武汉!

好吧,这就是武汉的户部巷下午到户部巷,觉得人多,转向黄鹤楼。哪知,入夜的户部巷,电子屏上显示“此刻滞留人数40168”,和下午相比,差不多翻倍了。好吧,最终决定加入这一大波僵尸中,成为吃货一员。人太多...
匿名

发表评论

匿名网友
:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: