八爪鱼采集器采集分页列表方法介绍

八爪鱼采集器

 

大小：55.24MB

语言：简体

分类： 网页辅助

版本： 电脑版

立即下载 查看详情

 

　　今天小编给大家演示一下如何使用八爪鱼采集器采集分页列表页面上的信,目的是让大家了解怎么创建循环翻页并能正常采集网页数据信息。

　　首先打开八爪鱼采集器→点击快速开始→新建任务，进入到任务配置页面：

　　选择任务组,自定义任务名称和备注;

　　上图配置完毕之后,选择下一步,进入到流程配置页面,往流程设计器中拖入一个打开网页的步骤;

　　选中浏览器中的打开网页步骤,在右边的页面URL中输入网页URL并点击保存,系统会在软件下方的浏览器中自动打开对应网页:

　　下面创建循环翻页。点击上图浏览器页面中的下一页按钮，在弹出的对话框中选择循环点击下一页;

　　翻页循环创建完毕之后，点击下图中的保存;

　　上图的浏览器中大家可以看到网页都是由同样的区域块组成的，我们需要抓取每一个区域块中的数据信息，而且每个区域块中的格式都是一样的。这时候我们需要创建一个循环列表，循环抓取每一个区域块中的元素.

　　点击上图中第一个区域块，在弹出的对话框中选择创建一个元素列表以处理一组元素;

　　接下来在弹出的对话框中选择添加到列表

　　第一个区域块添加好之后选择继续编辑列表。

　　接下来以同样的方式添加第二个区域块。

　　我们添加第二个区域块的时候可以看上图，这时候页面中其他元素都被添加进来了。这是因为我们添加的是具有两个相似特征的元素，系统会智能的将页面中其他具有相似特征的元素都添加进来。然后选择创建列表完成→点击下图中的循环

　　如上操作之后，循环采集列表就完成了。系统会在页面右上方显示本页面添加进来的所有循环项。

　　由于每一页都需要循环采集数据，所以我们需要将这个循环列表拖入到翻页循环里。

　　注意流程是从上网页执行的，所以这个循环列表需要放到点击翻页的前面，否则会漏掉第一页的数据。最终流程图如下图所示：

　　下面进行数据字段的提取,点击上图流程设计器中的提取数据，再选择浏览器中需要提取的字段,然后在弹出的选择对话框中选择抓取这个元素的文本;

　　上述操作之后,系统会在页面的右上方显示我们将要抓取的字段;

　　接下来配置页面中其他需要抓取的字段,配置完成之后修改字段名称;

　　修改完成之后点击上图中的保存按钮,再点开图中的数据字段可以看到,系统将会显示最终的采集列表;

　　点击上图中的下一步→下一步→启动单机采集(调试模式),进入到任务检查页面,以确保任务的正确性;

　　点击开始单机采集,系统将会在本地执行采集流程并显示最终采集的结果;