记得在之前的教程已经教会了大家怎么采集列表的分页,那么下面我们继续将,我们拿到列表的url怎么去采集文章内容页。
相信大家在平时浏览网页的时候,特别是在打开新闻网站,看新闻的时候。经常看到文章内页里面还有分页,还要一个一个的去点击,这样才能把整篇文章看完。
首先,这种做法我个人而言是讨厌的。接着,他们这样做的目的,只要值为了增加pv,提高一些百度联盟或者什么推广的广告而已,为了广告费。都说做网站,主要还是为了钱嘛,这点无可厚非。
但是,他们这样的做,我们在采集数据的时候,就遇到了怎么去采集内容页分页的问题了。
好的,那么接下来,我就来告诉大家,怎么用火车头采集器去采集文章内容页里面的分页。
前面的采集网址,就一笔带过了。不明白的小伙伴,可以看看前面的火车头采集前面采集列表页的教程。
第一步:我们在编写抓取内容的规则时,记得勾选右上方的【该标签在分页中匹配】。
如图:
第二步:我们在采集内容页把分页获取规则填上,这里是要抓取你的分页的。也可以在标签循环处理的选项下面,填上分页内容链接代码。
如图:
第三步:测试,我们编写的采集分页的规则正不正确。
如图:
通过上面的几个步骤,是不是很轻松的就把内容页的分页内容,采集下来了。感觉不错就试试吧。