在编辑任务的过程中,大家有时候会遇到各种情况导致页面内容无法显示,或者会遇到验证码提示,本教程主要为大家介绍如何处理这些情况并进行采集。 1、网页中提示验证码操作 (1)手动输入验证码 输入网址之后直接弹出的验证码,此时软件会提示验证码需要输入,如下图所示: 大家可以按照软件提示进行手动输入验证码操作。 如果软件未给出提示,我们可以直接点击手动输入验证码按钮,如下图所示: 然后在弹出的窗口中进行输入验证码操作,完成后点击右下角完成按钮。   (2)重启猫,注意不是路由器 重启猫可以切换您的IP,请注意不是…

2023年9月5日 0条评论 55点热度 0人点赞 365crawadmin 阅读全文

后羿采集器支持自动导出功能,通过使用该功能,可以实现在采集数据的过程中自动导出采集结果到本地文件和数据库,不需要等到任务运行结束后手动导出数据。 开启自动导出有两种方式: 第一种是直接在启动任务时进行设置,这种设置方式可以对同一个采集任务添加多个自动导出。 在编辑任务界面,点击右下角“开始采集”按钮,在弹出的设置框中,点击“自动导出”选项可以切换到自动导出设置界面。 勾选“自动导出”功能,点击“新建自动导出”按钮,新建自动导出的设置。 点击这个按钮后,软件会打开导出设置界面,在该界面中我们可以选择具体的导出方式。后…

2023年9月5日 0条评论 44点热度 0人点赞 365crawadmin 阅读全文

在智能模式中,后羿采集器会自动识别分页,分页类型通常包括以下几种: (1)分页按钮 (2)滚动加载 (3)瀑布流分页(滚动加载)+ 分页按钮 (4)不启用分页 但是偶尔也会发生识别结果错误的情况,原因通常包括以下几种: (1)网页加载速度过慢,软件自动识别结束之后才出现分页按钮 (2)页面中存在多个分页按钮,软件最终只会选择其中的一个 (3)在滚动加载和分页按钮同时存在的情况中,软件自动滚动多次之后分页按钮仍未出现。 (4)当前页面中的分页按钮软件暂时未兼容 “分页设置”的设置菜单如下图所示。 针对不同的分页类型,…

2023年9月5日 0条评论 43点热度 0人点赞 365crawadmin 阅读全文

如果您已经看完了后羿采集器智能模式的第一个采集案例,想必您对其已经有了初步的了解,这里我们再来详细介绍一下智能模式的基本操作流程。 1、输入正确的网址 输入了正确的网址,这个采集任务就成功了一半。 后羿采集器支持单网址和多网址采集,支持从本地TXT文件中导入网址,也支持参数网址批量生成。 更多详情内容,请参考以下教程: ※如何创建智能模式任务 2、选择页面类型及设置分页 在智能模式下,后羿采集器会自动识别网页,如果出现识别不准确的情况,此时您可以先手动自动识别一下,如果手动自动识别还不起效果,您可以手动点选列表,从…

2023年9月5日 0条评论 47点热度 0人点赞 365crawadmin 阅读全文

在新建智能模式任务之后,软件会打开任务编辑界面,本教程为大家介绍如何在智能模式的任务编辑页面进行任务设置。 1、刷新网页 如果遇到网页加载不出来的情况,可以点击刷新按钮刷新网页,软件会刷新当前网页并重新进行智能识别。 2、修改任务网址 这里可以对网址进行编辑,超过200个请直接修改本地文件。 注意:如果是从本地文件中导入的网址,这里的修改不会影响本地文件。 更多详情内容,请参考以下教程: 如何修改网址 3、预登录功能 遇到需要登录的网页,可以点击此位置使用预登录功能 更多详情内容,请参考以下教程: 如何采集需要登录…

2023年9月5日 0条评论 64点热度 0人点赞 365crawadmin 阅读全文

一、文件下载功能简介 后羿采集器支持在采集的过程中下载文件,文件类型包括:图片、音频、视频、文档、其他文件,启用文件下载功能的位置如下图所示: 需要注意的是,此处的设置只是针对文件下载功能的开启,所有的文件下载都需要在采集字段中设置对应的下载链接或者下载按钮。 在下载文件时,软件支持对文件下载路径进行修改,你可以按照下图进行设置: 在下载文件时,软件支持按照一定的规则创建独立的文件夹用来存放文件,规则包括按照文件类型、采集日期、任务名称或者按照字段值给文件夹命名,如下图所示: 在下载文件时,软件支持按照一定的规则重…

2023年9月5日 0条评论 34点热度 0人点赞 365crawadmin 阅读全文

智能模式不支持在页面中直接点击等操作,如果需要进行在页面进行点击操作,请使用预执行操作功能。 具体操作步骤如下: 1、点击预执行操作按钮 2、根据操作提示或者拖动组件预执行操作 预执行操作窗口其实是一个简化版的流程图模式,在这个窗口中可以按照流程图的方式进行页面操作。 更多详情内容,请参考以下教程: 流程图模式教程

2023年9月5日 0条评论 43点热度 0人点赞 365crawadmin 阅读全文

在 客户端界面介绍 里,我们简单讲了数据采集的2种模式:【使用模板采集数据】和【自定义配置采集数据】。【使用模板采集数据】之前已经讲过,点击学习   【自定义配置采集数据】稍微复杂一点,我们将用1个系列的8节课来学习。在这8节课中,我们将介绍使用八爪鱼自行配置采集流程,进行网页数据采集的基础知识。学完这8节课,能够轻松采集到90%的网页数据。   第1课:自定义配置采集数据基本介绍(含智能识别) 本课 第2课:采集单个数据 第3课:采集列表数据 第4课:采集表格数据 第5课:需依次点击多个链接进入详情,采集每个详情…

2023年9月5日 0条评论 57点热度 0人点赞 365crawadmin 阅读全文

智能模式会自动识别网页中的列表数据,如果我们想要采集列表页对应的详情页中的数据,可以使用深入采集功能。所谓深入采集就是通过当前页面的链接进入对应详情页进行采集。 1、点击“深入采集”按钮 当列表页上只有一个链接字段时,点击任务操作栏上的“深入采集”按钮会打开链接字段中的第一个链接对应的详情页。我们可以在此页面上进行采集规则的设置,其他详情页会自动根据该页面的设置规则进行采集。 如果存在多个链接字段,点击“深入采集”按钮时会弹出提示框,我们需要选择一个链接字段进行深入采集。 此外,如果我们已经选中了某一个链接字段(点…

2023年9月5日 0条评论 45点热度 0人点赞 365crawadmin 阅读全文

如果需要设置采集范围,可以点击页面上的采集范围按钮直接设置采集范围。 1、设置起始页和结束页 起始页默认为当前页,结束页默认为最后一页。需要注意的是如果选择自定义设置,当前页为第一页。 2、设置跳过项 在采集中可以跳过每页前多少条或者后多少条。 3、设置停止采集 正常的采集任务会根据上述范围从开始页采集到结束页,此处的停止采集是在采集过程中满足设置条件时提前停止采集。停止采集条件设置和数据筛选条件的设置相同,请参考如何设置数据筛选。

2023年9月5日 0条评论 42点热度 0人点赞 365crawadmin 阅读全文