本文将简单说明如何使用后羿采集器的流程图模式通过设置依次点击来采集详情页的数据。 1.复制目标网站链接。

2023年12月2日 0条评论 50点热度 0人点赞 365crawadmin 阅读全文

1、什么样的网页属于单页类型的网页 单页类型的网页通常是一个商品详情页或者一篇文章内容页,如下图所示: 2、如何采集单页类型的网页 具体步骤如下: 第一步:修改页面类型为“单页类型”(请参考此教程 →_→ 如何设置页面类型) 第二步:设置分页(请参考此教程 →_→如何设置分页) 第三步:添加字段 关于采集字段的更多设置请参考这篇教程:如何对采集字段进行配置

2023年9月5日 0条评论 65点热度 0人点赞 365crawadmin 阅读全文

智能模式会自动识别网页中的列表数据,如果我们想要采集列表页对应的详情页中的数据,可以使用深入采集功能。所谓深入采集就是通过当前页面的链接进入对应详情页进行采集。 1、点击“深入采集”按钮 当列表页上只有一个链接字段时,点击任务操作栏上的“深入采集”按钮会打开链接字段中的第一个链接对应的详情页。我们可以在此页面上进行采集规则的设置,其他详情页会自动根据该页面的设置规则进行采集。 如果存在多个链接字段,点击“深入采集”按钮时会弹出提示框,我们需要选择一个链接字段进行深入采集。 此外,如果我们已经选中了某一个链接字段(点…

2023年9月5日 0条评论 45点热度 0人点赞 365crawadmin 阅读全文

在如何设置数据筛选和如何设置采集范围两篇教程中,我们分别介绍了数据筛选条件和采集停止条件的设置步骤,可以看出这两个条件使用的是同样的设置方式。 这里我们以 A 或者 (B 并且 C 并且 D)或者 E 为例给大家解释如何设置。 以数据筛选为例(请忽略字段,条件和值的设置),设置结果如下图所示: 在设置条件时,存在“组间关系”和“组内关系”两种设置,这是为了让大家能够设置条件运算的优先级。 其中“组间关系”都是“或者”,“组内关系”都是“并且”,组内的优先运算,然后再是组之间的运算。 因此,如果需要添加“或者”条件,…

2023年9月5日 0条评论 64点热度 0人点赞 365crawadmin 阅读全文

本文主要为大家介绍使用后羿采集器的流程图模式,采集网站上多关键词的数据。 步骤一:新建采集任务 1、复制官网的网页地址(需要搜索结果页的网址,而不是首页的网址) 更多详情内容,请参考以下教程: 如何正确地输入网址。

2023年9月5日 0条评论 45点热度 0人点赞 365crawadmin 阅读全文

智能模式是后羿采集器团队基于人工智能技术研发的新一代采集模式,操作极其简单,只需要输入被采集的网址就能智能识别出网页中的内容和分页按钮,无需配置采集规则就能够完成数据的采集。 本文以后羿采集器官网问答社区为例,为大家演示智能模式的使用方法,更多详细的介绍请大家参考智能模式的系列课程。  

2023年9月5日 0条评论 44点热度 0人点赞 365crawadmin 阅读全文

流程图模式中支持两种深入采集的方式,第一种和智能模式相同,点击深入采集按钮或者链接进行深入采集;第二种是通过点击页面元素,然后根据软件提示进行深入采集。 其中第二种方式是对第一种方式的补充,主要针对一些第一种方式不支持的场景,包括: (1)列表页中没有详情页的链接,并且点击列表页中的详情页的标题之后,打开的详情页与列表页网址相同 (2)列表页中没有详情页的链接,并且点击列表页的详情页标题之后会在原网页中弹出新的窗口,详情页内容在窗口中,弹窗需要手动关闭后才能查看下一个详情页内容 下面我们分别介绍一下两种深入采集的设…

2023年9月5日 0条评论 47点热度 0人点赞 365crawadmin 阅读全文

在编辑任务的过程中,大家有时候会遇到各种情况导致页面内容无法显示,或者会遇到验证码提示,本教程主要为大家介绍如何处理这些情况并进行采集。 1、网页中提示验证码操作 (1)手动输入验证码 输入网址之后直接弹出的验证码,此时软件会提示验证码需要输入,如下图所示: 大家可以按照软件提示进行手动输入验证码操作。 如果软件未给出提示,我们可以直接点击手动输入验证码按钮,如下图所示: 然后在弹出的窗口中进行输入验证码操作,完成后点击右下角完成按钮。   (2)重启猫,注意不是路由器 重启猫可以切换您的IP,请注意不是…

2023年9月5日 0条评论 54点热度 0人点赞 365crawadmin 阅读全文

后羿采集器目前已经支持“邮件提醒”功能,开启邮件提醒功能后,当用户的采集任务在运行过程中遇到需要“输入验证码”或“登录网站”情况时,后羿采集器会通过邮件提醒的方式通知用户。 注意:后羿采集器“邮件提醒”功能仅限企业标准版及以上套餐使用。 下面介绍下使用后羿采集器“邮件提醒”功能的具体操作步骤: 1.配置邮件推送服务 “邮件提醒”功能使用的前提是:配置好邮件推送服务参数。意思是,用户需要使用一个邮箱来作为推送提醒邮件的中转站,所有的提醒邮件都会通过这个邮箱来进行推送的,下面以163邮箱为例进行说明。 首先,在163邮…

2023年9月5日 0条评论 58点热度 0人点赞 365crawadmin 阅读全文

在后羿采集器的智能模式下,我们在智能识别窗口可以对浏览器的模式进行设置。如下图所示: 后羿采集器支持两种浏览器模式: (1)电脑浏览器模式 (2)手机浏览器模式 那么这两种该如何选择呢? 如果某些网页的内容在电脑浏览器和手机浏览器模式下会有区别,而且你需要采集的数据在这两种浏览器模式下的某一种中才有,那么你可以切换到相应的浏览器模式,然后再开始采集。  

2023年9月5日 0条评论 25点热度 0人点赞 365crawadmin 阅读全文
123457