房源信息如何采集

科普言 人气:1.83W

随着物联网的发展,现在出现越来越多生活服务类的网站,这类网页有许多的房源信息,但这些信息数据量很大,一个个去翻阅会浪费很多时间,今天我们就借助数据采集器,来查找我们需要房源信息。

建立采集任务

(01)找到要采集的房源网站,选择你要查找的房源信息,将选择好的房源网站地址复制下来

房源信息如何采集

(02)打开采集器,并登陆

房源信息如何采集 第2张

(03)建立采集任务,完成采集任务及任务组名称编辑,点击下一步

采集规则编辑

(01)将复制的网页地址粘贴在八爪鱼采集器内置浏览器的地址栏中,点击跳转,采集的网页会在下方浏览器中打开,流程设计器中会生成一个“打开网页”步骤

房源信息如何采集 第3张

(02)将网页下拉到底部,找到翻页的按钮,右键点击,选择执行“循环点击这个元素

房源信息如何采集 第4张

(03)完成后流程设计器会生成一个翻页循环,点击自定义进行设置

(04)选择“元素文本=下一页”这个选项,点击确定,完成翻页循环的创建

创建提取数据列表

(01)完成后上述操作后,右键点击页面中第一个房源信息的方框,在跳出的操作框中,选择下图红色方框的选项“创建一个元素列表”

房源信息如何采集 第5张

(02)将第一个房源的信息”添加到列表“中

房源信息如何采集 第6张

(03)点击第二个方框中的房源信息,同样将其”添加到列表“中

房源信息如何采集 第7张

(04)八爪鱼会将具有相似特征的元素抓取到列表中,如下图,所有的群组信息被添加到列表,接着点击“创建列表完成“,

房源信息如何采集 第8张

(05)再点击“循环”,完成列表的创建

房源信息如何采集 第9张

(06)创建列表完成后流程图,如左侧所示,接着我们需要对采集的房源信息进行抓取

提取要采集的文本信息

(01)如图点击房源中的标题,在跳出的执行框中,选择执行”抓取这个元素文本”方框其他数据的信息抓取,重复同样的步骤即可

房源信息如何采集 第10张

(02)抓取到的内容会显示在右上方的操作框中,这里可以修改采集字段的名称,到这里我们就完成了房源信息提取

(03)由于每一页都需要循环采集数据,所以我们需要将这个循环列表拖入到翻页循环里面。

(04)注意:流程是从上网页执行的,所以这个循环列表需要放到点击翻页的前面,否则会漏掉第一页的数据。最终流程图如下图所示:点击保存,进入下一个采集步骤

开始采集

(01)选择采集方式,开始房源信息的采集

(02)采集完成,有多个导出格式可供选择,可以根据需要点选,采集到的重复数据八爪鱼采集器会自动识别出来,导出时可以选择是否去重,完成房源信息的采集

房源信息如何采集 第11张

特别提示

这里采集的网页,只是其中的一个网站例子,其他网页的采集,可以参考这个教程的步骤去进行采集规则的编辑

TAGS:房源