如果您已经看完了后羿采集器智能模式的第一个采集案例,想必您对其已经有了初步的了解,这里我们再来详细介绍一下智能模式的基本操作流程。 1、输入正确的网址 输入了正确的网址,这个采集任务就成功了一半。 后羿采集器支持单网址和多网址采集,支持从本地TXT文件中导入网址,也支持参数网址批量生成。 更多详情内容,请参考以下教程: ※如何创建智能模式任务 2、选择页面类型及设置分页 在智能模式下,后羿采集器会自动识别网页,如果出现识别不准确的情况,此时您可以先手动自动识别一下,如果手动自动识别还不起效果,您可以手动点选列表,从…

2023年9月5日 0条评论 32点热度 0人点赞 365crawadmin 阅读全文

在新建智能模式任务之后,软件会打开任务编辑界面,本教程为大家介绍如何在智能模式的任务编辑页面进行任务设置。 1、刷新网页 如果遇到网页加载不出来的情况,可以点击刷新按钮刷新网页,软件会刷新当前网页并重新进行智能识别。 2、修改任务网址 这里可以对网址进行编辑,超过200个请直接修改本地文件。 注意:如果是从本地文件中导入的网址,这里的修改不会影响本地文件。 更多详情内容,请参考以下教程: 如何修改网址 3、预登录功能 遇到需要登录的网页,可以点击此位置使用预登录功能 更多详情内容,请参考以下教程: 如何采集需要登录…

2023年9月5日 0条评论 48点热度 0人点赞 365crawadmin 阅读全文

一、文件下载功能简介 后羿采集器支持在采集的过程中下载文件,文件类型包括:图片、音频、视频、文档、其他文件,启用文件下载功能的位置如下图所示: 需要注意的是,此处的设置只是针对文件下载功能的开启,所有的文件下载都需要在采集字段中设置对应的下载链接或者下载按钮。 在下载文件时,软件支持对文件下载路径进行修改,你可以按照下图进行设置: 在下载文件时,软件支持按照一定的规则创建独立的文件夹用来存放文件,规则包括按照文件类型、采集日期、任务名称或者按照字段值给文件夹命名,如下图所示: 在下载文件时,软件支持按照一定的规则重…

2023年9月5日 0条评论 23点热度 0人点赞 365crawadmin 阅读全文

智能模式不支持在页面中直接点击等操作,如果需要进行在页面进行点击操作,请使用预执行操作功能。 具体操作步骤如下: 1、点击预执行操作按钮 2、根据操作提示或者拖动组件预执行操作 预执行操作窗口其实是一个简化版的流程图模式,在这个窗口中可以按照流程图的方式进行页面操作。 更多详情内容,请参考以下教程: 流程图模式教程

2023年9月5日 0条评论 22点热度 0人点赞 365crawadmin 阅读全文

在 客户端界面介绍 里,我们简单讲了数据采集的2种模式:【使用模板采集数据】和【自定义配置采集数据】。【使用模板采集数据】之前已经讲过,点击学习   【自定义配置采集数据】稍微复杂一点,我们将用1个系列的8节课来学习。在这8节课中,我们将介绍使用八爪鱼自行配置采集流程,进行网页数据采集的基础知识。学完这8节课,能够轻松采集到90%的网页数据。   第1课:自定义配置采集数据基本介绍(含智能识别) 本课 第2课:采集单个数据 第3课:采集列表数据 第4课:采集表格数据 第5课:需依次点击多个链接进入详情,采集每个详情…

2023年9月5日 0条评论 37点热度 0人点赞 365crawadmin 阅读全文

智能模式会自动识别网页中的列表数据,如果我们想要采集列表页对应的详情页中的数据,可以使用深入采集功能。所谓深入采集就是通过当前页面的链接进入对应详情页进行采集。 1、点击“深入采集”按钮 当列表页上只有一个链接字段时,点击任务操作栏上的“深入采集”按钮会打开链接字段中的第一个链接对应的详情页。我们可以在此页面上进行采集规则的设置,其他详情页会自动根据该页面的设置规则进行采集。 如果存在多个链接字段,点击“深入采集”按钮时会弹出提示框,我们需要选择一个链接字段进行深入采集。 此外,如果我们已经选中了某一个链接字段(点…

2023年9月5日 0条评论 27点热度 0人点赞 365crawadmin 阅读全文

如果需要设置采集范围,可以点击页面上的采集范围按钮直接设置采集范围。 1、设置起始页和结束页 起始页默认为当前页,结束页默认为最后一页。需要注意的是如果选择自定义设置,当前页为第一页。 2、设置跳过项 在采集中可以跳过每页前多少条或者后多少条。 3、设置停止采集 正常的采集任务会根据上述范围从开始页采集到结束页,此处的停止采集是在采集过程中满足设置条件时提前停止采集。停止采集条件设置和数据筛选条件的设置相同,请参考如何设置数据筛选。

2023年9月5日 0条评论 29点热度 0人点赞 365crawadmin 阅读全文

这个说起来可就厉害了! 智能模式是后羿采集器团队基于人工智能技术研发的新一代采集模式。 该模式操作极其简单,只需要输入被采集的网址就能智能识别出网页中的内容,无需配置任何采集规则就能够完成数据的采集。我们来简单看一下是怎么操作的。 智能模式支持单个网址的采集和多个网址的批量采集,支持从本地TXT文档中批量导入网址,并且支持批量生成网址。 智能模式主要针对单页类型网页、列表类型网页和列表+详情页类型的网页,在批量采集多个网址时,建议只输入同一种类型的网页,例如全部都是列表类型或全部都是内容类型。 不同类型的网页建议创…

2023年9月5日 0条评论 28点热度 0人点赞 365crawadmin 阅读全文

在智能模式中,如果需要修改网址,可以在任务编辑界面点击右上角的网址编辑按钮,进行网址修改。 点击按钮后会打开网址修改界面,软件支持三种网址修改方式,具体如下: 1、手动输入修改网址 2、文件导入修改网址 3、批量生成网址 更多详情内容,请参考以下教程: 如何批量生成网址

2023年9月5日 0条评论 19点热度 0人点赞 365crawadmin 阅读全文

数据去重功能是指在任务采集过程中,将当前采集到的数据和该任务中已保存的所有数据进行对比,如果数据重复,则按照设置条件进行处理。 在编辑任务界面,点击右下角“开始采集”按钮,在弹出的设置框中,点击“数据去重”选项可以切换到数据去重设置界面。 1、去重条件 1)所有字段都重复 勾选“所有字段都重复”这个去重条件,意味着两行数据必须完全相同,软件才会执行去重。只要两行数据中有任意一个字段不相同,该数据都不会被判定为重复数据。 需要注意的是,很多网页内容中存在时间或阅读数这一类会变化的内容,包含此类内容时,数据往往看上去大…

2023年9月5日 0条评论 33点热度 0人点赞 365crawadmin 阅读全文