在智能模式中,后羿采集器会默认按照列表类型进行识别,如果您输入网页属于单页类型,此时的页面类型识别结果肯定是不正确的;或者由于网页加载速度等其他原因,即使您输入的网页是列表类型,也可能出现识别失败的情况,此时您可以手动设置页面类型。 关于单页和列表页的介绍请参考以下教程: 什么是单页类型的网页?如何采集? 什么是列表类型的网页?如何采集? 分页设置的过程如下: “页面类型”的设置菜单如下图所示。 如果是单页类型的网页,您可以直接选择“单页类型”。 如果是列表类型的网页,您可以点击“自动识别”,软件会重新尝试识别列表…

2023年9月5日 0条评论 48点热度 0人点赞 365crawadmin 阅读全文

后羿采集器的加速引擎功能可以对采集任务进行加速,加速效果和网页加载速度以及采集任务的设置有关,通常可以达到3~10倍的加速效果。 加速引擎的加速选项包括:智能请求、智能跳过详情页、多线程采集、禁用多媒体和HTTP引擎。 大家可以在启动任务时进行设置,软件会根据您的设置启动对应的加速功能。 如果您在开启任务时没有使用加速引擎,在任务运行界面中也可以通过点击加速按钮来开启加速功能。 关于加速引擎有以下几点需要注意: 1、加速引擎功能开启后无法取消 2、使用多线程采集功能后,采集结果和输入网址的顺序以及单个网页的内容显示…

2023年9月5日 0条评论 26点热度 0人点赞 365crawadmin 阅读全文

在编辑任务界面,点击右下角“开始采集”按钮,跳转到任务启动界面,我们可以在任务启动界面对任务进行配置。 1、定时启动 定时启动功能包括循环采集和定时采集,其中循环采集是按照一个固定的时间间隔(从前一次任务停止到下一次任务启动),循环启动采集任务;定时采集是按照设置的时间周期,循环启动采集任务。 更多详情内容,请参考以下教程: 如何设置定时采集 2、智能策略 智能策略设置包含代理设置、智能切换设置、手动切换设置 3、自动导出 通过使用该功能,可以实现在采集数据的过程中自动导出采集结果到本地文件和数据库,不需要等到任务…

2023年9月5日 0条评论 38点热度 0人点赞 365crawadmin 阅读全文

在后羿采集器的智能模式下,如果遇到需要登录才能查看内容的网页,我们可以按照如下图所示的步骤进行预登陆,然后顺利完成数据采集。 具体步骤如下: 第一步:创建智能模式任务(点此查看如何创建任务) 第二步:点击预登录按钮 第三步:输入账号和密码登录网站 第四步:点击“登录完成” 如下图所示:   温馨提示: 用户输入的所有信息均保存在本地,后羿采集器不会上传和存储用户在其他网站的任何个人信息。

2023年9月5日 0条评论 52点热度 0人点赞 365crawadmin 阅读全文

后羿采集器支持批量生成网址功能,即通过设置一定的规则,自动生成您需要的网址,智能模式和流程图模式的具体设置位置相同,在新建采集任务界面中,如下图所示: 批量生成网址一般用于多网址采集的场景,这里又可以分为两种情况: 第一种:当网页中没有翻页按钮时,这种情况下无法通过点击翻页按钮进行循环翻页采集,这种网站各个分页的网址一般都只有部分参数(例如页面编号)不同,因此可以通过使用批量生成网址功能来一次性生成所有的分页网址,然后按照多网址进行采集。 第二种:当你需要采集多个网址,但是这些网址是符合一定的规则的,那么就可以通过…

2023年9月5日 0条评论 52点热度 0人点赞 365crawadmin 阅读全文

后羿采集器支持图像识别功能,可以识别图像中的文字,但是并非所有图像都可以识别,大家可以先进行测试,如果测试不成功,说明你遇到的情况暂时无法支持。 我们以智能模式中采集后羿采集器官网教程页为例,流程图模式的设置方式与此相同。 如下图所示,我们可以看到标题字段中有很多乱码,这是因为我们在网页中使用了图片替代了文字,这些图片在网页中和其他文字看起来是一样的,但是采集下来时就会变成乱码。 此时我们可以右击字段,然后在识别格式中选择“内容乱码”。 之后在字段上会出现“识别”按钮。 点击“识别”按钮,软件会进行图像识别,识别结…

2023年9月5日 0条评论 44点热度 0人点赞 365crawadmin 阅读全文

1、什么样的网页属于单页类型的网页 单页类型的网页通常是一个商品详情页或者一篇文章内容页,如下图所示: 2、如何采集单页类型的网页 具体步骤如下: 第一步:修改页面类型为“单页类型”(请参考此教程 →_→ 如何设置页面类型) 第二步:设置分页(请参考此教程 →_→如何设置分页) 第三步:添加字段 关于采集字段的更多设置请参考这篇教程:如何对采集字段进行配置

2023年9月5日 0条评论 52点热度 0人点赞 365crawadmin 阅读全文

用户在采集数据时,有时候需要启动很多任务进行采集,这时候如果要一个个启动任务就会花费比较多的时间。为了给用户更好的体验,我们开发出了组批量启动功能,大家只要选中组就可以批量启动任务了。 大家可以把需要采集的任务放在一个分组中,然后展开分组,点击顺序启动组内任务,如下图所示: 注意,需要把组展开才能够批量启动组内任务,未打开分组使用此功能会出现如下报错: 按组批量启动任务后,会跳转到启动页面,此时在启动页面进行的所有设置会应用给组内的每一个任务。 点此了解更多关于采集任务设置的内容。 注意一点,如果在此时勾选加速引擎…

2023年9月5日 0条评论 55点热度 0人点赞 365crawadmin 阅读全文

后羿采集器目前已经支持“邮件提醒”功能,开启邮件提醒功能后,当用户的采集任务在运行过程中遇到需要“输入验证码”或“登录网站”情况时,后羿采集器会通过邮件提醒的方式通知用户。 注意:后羿采集器“邮件提醒”功能仅限企业标准版及以上套餐使用。 下面介绍下使用后羿采集器“邮件提醒”功能的具体操作步骤: 1.配置邮件推送服务 “邮件提醒”功能使用的前提是:配置好邮件推送服务参数。意思是,用户需要使用一个邮箱来作为推送提醒邮件的中转站,所有的提醒邮件都会通过这个邮箱来进行推送的,下面以163邮箱为例进行说明。 首先,在163邮…

2023年9月5日 0条评论 39点热度 0人点赞 365crawadmin 阅读全文

智能模式是后羿采集器团队基于人工智能技术研发的新一代采集模式,操作极其简单,只需要输入被采集的网址就能智能识别出网页中的内容和分页按钮,无需配置采集规则就能够完成数据的采集。 本文以后羿采集器官网问答社区为例,为大家演示智能模式的使用方法,更多详细的介绍请大家参考智能模式的系列课程。  

2023年9月5日 0条评论 27点热度 0人点赞 365crawadmin 阅读全文