智能模式是后羿采集器团队基于人工智能技术研发的新一代采集模式,操作极其简单,只需要输入被采集的网址就能智能识别出网页中的内容和分页按钮,无需配置采集规则就能够完成数据的采集。 本文以后羿采集器官网问答社区为例,为大家演示智能模式的使用方法,更多详细的介绍请大家参考智能模式的系列课程。  

2023年9月5日 0条评论 44点热度 0人点赞 365crawadmin 阅读全文

流程图模式中支持两种深入采集的方式,第一种和智能模式相同,点击深入采集按钮或者链接进行深入采集;第二种是通过点击页面元素,然后根据软件提示进行深入采集。 其中第二种方式是对第一种方式的补充,主要针对一些第一种方式不支持的场景,包括: (1)列表页中没有详情页的链接,并且点击列表页中的详情页的标题之后,打开的详情页与列表页网址相同 (2)列表页中没有详情页的链接,并且点击列表页的详情页标题之后会在原网页中弹出新的窗口,详情页内容在窗口中,弹窗需要手动关闭后才能查看下一个详情页内容 下面我们分别介绍一下两种深入采集的设…

2023年9月5日 0条评论 47点热度 0人点赞 365crawadmin 阅读全文

在编辑任务的过程中,大家有时候会遇到各种情况导致页面内容无法显示,或者会遇到验证码提示,本教程主要为大家介绍如何处理这些情况并进行采集。 1、网页中提示验证码操作 (1)手动输入验证码 输入网址之后直接弹出的验证码,此时软件会提示验证码需要输入,如下图所示: 大家可以按照软件提示进行手动输入验证码操作。 如果软件未给出提示,我们可以直接点击手动输入验证码按钮,如下图所示: 然后在弹出的窗口中进行输入验证码操作,完成后点击右下角完成按钮。   (2)重启猫,注意不是路由器 重启猫可以切换您的IP,请注意不是…

2023年9月5日 0条评论 54点热度 0人点赞 365crawadmin 阅读全文

后羿采集器目前已经支持“邮件提醒”功能,开启邮件提醒功能后,当用户的采集任务在运行过程中遇到需要“输入验证码”或“登录网站”情况时,后羿采集器会通过邮件提醒的方式通知用户。 注意:后羿采集器“邮件提醒”功能仅限企业标准版及以上套餐使用。 下面介绍下使用后羿采集器“邮件提醒”功能的具体操作步骤: 1.配置邮件推送服务 “邮件提醒”功能使用的前提是:配置好邮件推送服务参数。意思是,用户需要使用一个邮箱来作为推送提醒邮件的中转站,所有的提醒邮件都会通过这个邮箱来进行推送的,下面以163邮箱为例进行说明。 首先,在163邮…

2023年9月5日 0条评论 58点热度 0人点赞 365crawadmin 阅读全文

在后羿采集器的智能模式下,我们在智能识别窗口可以对浏览器的模式进行设置。如下图所示: 后羿采集器支持两种浏览器模式: (1)电脑浏览器模式 (2)手机浏览器模式 那么这两种该如何选择呢? 如果某些网页的内容在电脑浏览器和手机浏览器模式下会有区别,而且你需要采集的数据在这两种浏览器模式下的某一种中才有,那么你可以切换到相应的浏览器模式,然后再开始采集。  

2023年9月5日 0条评论 25点热度 0人点赞 365crawadmin 阅读全文

在智能模式中,如果需要修改网址,可以在任务编辑界面点击右上角的网址编辑按钮,进行网址修改。 点击按钮后会打开网址修改界面,软件支持三种网址修改方式,具体如下: 1、手动输入修改网址 2、文件导入修改网址 3、批量生成网址 更多详情内容,请参考以下教程: 如何批量生成网址

2023年9月5日 0条评论 40点热度 0人点赞 365crawadmin 阅读全文

在智能模式中,后羿采集器会自动识别分页,分页类型通常包括以下几种: (1)分页按钮 (2)滚动加载 (3)瀑布流分页(滚动加载)+ 分页按钮 (4)不启用分页 但是偶尔也会发生识别结果错误的情况,原因通常包括以下几种: (1)网页加载速度过慢,软件自动识别结束之后才出现分页按钮 (2)页面中存在多个分页按钮,软件最终只会选择其中的一个 (3)在滚动加载和分页按钮同时存在的情况中,软件自动滚动多次之后分页按钮仍未出现。 (4)当前页面中的分页按钮软件暂时未兼容 “分页设置”的设置菜单如下图所示。 针对不同的分页类型,…

2023年9月5日 0条评论 43点热度 0人点赞 365crawadmin 阅读全文

在采集任务的设置中,经常能遇到网页没有翻页按钮或者网站有严格的防采集限制,不能用点击下一页按钮的形式进行翻页的情况。这个时候我们就可以使用后羿采集器的流程图模式,利用批量输入页码的方式翻页。 步骤一:新建采集任务 1、复制目标网站的网址 【温馨提示】需要搜索结果页的网址,而不是首页的网址。 点此了解关于如何正确地输入网址。 2、新建流程图模式采集任务 您可以在软件上直接新建采集任务。 点此了解如何导入和导出采集任务。 步骤二:配置采集任务 1、设置批量输入页码的循环组件 在流程图模式输入网址新建任务之后,我们点击页…

2023年9月5日 0条评论 45点热度 0人点赞 365crawadmin 阅读全文

在后羿采集器的流程图模式下,如果遇到需要登录才能查看内容的网页,软件会提示我们登录,如果没有提示,我们可以按照如下图所示的步骤进行预登录。 具体包括: 第一步:创建流程图模式任务(点此查看如何创建任务) 第二步:点击预登录按钮 第三步:输入账号和密码登录网站 第四步:点击“登录完成”   温馨提示: 用户输入的所有信息均保存在本地,后羿采集器不会上传和存储用户在其他网站的任何个人信息。

2023年9月5日 0条评论 69点热度 0人点赞 365crawadmin 阅读全文

在流程图模式中,如果需要修改网址,可以在任务编辑界面点击右上角的网址编辑按钮,进行网址修改。 点击按钮后会打开网址修改界面,软件支持三种网址修改方式,具体如下: 1、手动输入修改网址 2、文件导入修改网址 3、批量生成网址 更多详情内容,请参考以下教程: 如何批量生成网址

2023年9月5日 0条评论 51点热度 0人点赞 365crawadmin 阅读全文
134567