网站一直有蜘蛛抓取但并不收录问题分析

网络营销评论47

按照整个搜索原理来看,从抓取到收录再到参与关键词排名是一个逐级递进的过程。然而收录仅仅是反应网站状态的一项量化参数,蜘蛛抓取频次不等于站点收录的快慢,收录数量的多少更不代表关键词排名以及站点流量。

思维浅析

———

一般站长都会通过百度搜索资源平台查看蜘蛛的抓取频次,很多站长发现站点抓取频次并不低,但是为什么更新的页面并没有及时收录?那么蜘蛛抓取和页面收录是什么样的关系?抓取频次的高低是否代表网站收录的快慢?

网站一直有蜘蛛抓取但并不收录问题分析

尽管抓取是收录的先决条件,但抓取仅仅代表蜘蛛造访爬行了网站内容,但不代表爬行就意味着被搜索引擎收录。抓取频次越高说明站点质量较高,一般情况下新产出的内容很快就会收录甚至是秒收。

01

页面被抓取不等于页面会被收录

百度搜索蜘蛛将页面内容抓取,不代表一定将抓取的内容存储到数据库中,而是对抓取到的内容进行检测,对于质量不能达到收录标准的页面会被直接过滤掉,而通过收录标准的页面会被存入数据库当中,然后再次进行检测对内容进行评级筛选建立索引,对于内容质量较高的页面则优先排名展现。也就是说抓取不等于收录,而需要在搜索引擎进行筛选评价之后才能确定时候收录并建立索引。

02

蜘蛛抓取的是已经被收录的页面

有很多站长发现尽管网站每日的抓取频次都很高,但最近更新的内容并没有被搜索引擎收录。SEO视界提醒大家,蜘蛛抓取并非是只会抓取新产出的内容,同时对整个站点的内容都会进行抓取,即使是已经收录并索引在库的内容,依然会再次爬行抓取,检测该页面内容是否更新等。

导致新产出内容不收录的原因需要具体分析,需要检查服务器原始日志,分析属于蜘蛛程序的访问记录(注意真假蜘蛛的判别),然后根据访问记录查询新产出内容的URL是否被蜘蛛爬行。如果不被蜘蛛爬行,即使内容质量再高也不会得到收录,因此需要考虑提升新URL链接被蜘蛛爬行概率,比如站长平台(sitemap、主动推送)提交,或外链发布、优化站内布局(更新带动器概念)等方式增加URL曝光。如果蜘蛛抓取正常却没有收录索引入库,则大都是内容质量的问题,后续内容产出需要进一步提升质量。

写在最后

———

页面被收录的前提是被蜘蛛抓取到,但被抓取后不等于一定会被收录。所以想要提高网站收录,首先确保被蜘蛛成功抓取(如何让蜘蛛及时抓取新产出内容?可以通过主动提交链接、做外链以及做内链的方式引导蜘蛛及时抓取),其次是确保内容价值以及页面质量(避免内容同质化,满足用户搜索需求,甚至注意算法影响)。如果能做到这两点,网站页面收录就不是问题。

同样是做SEO,对于SEO思维和实操,不同的SEOer都有自己的见解与心得,欢迎每一位喜欢SEO的朋友留言交流!!!

 
搜索引擎对内容的处理 网络营销

搜索引擎对内容的处理

内容处理即搜索引擎对Spider抓取回来的页面进行处理。处理步骤简单介绍如下。要判断该页面的类型首先要判断该页面的类型是普通网页,还是PDF、Word、Excel等特殊文件文档。如果是普通网页还要判断...
匿名

发表评论

匿名网友
:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: