【智能模式】【流程图模式】如何配置采集任务

2023年9月5日 39点热度 0人点赞 0条评论

在编辑任务界面,点击右下角“开始采集”按钮,跳转到任务启动界面,我们可以在任务启动界面对任务进行配置。

1、定时启动

定时启动功能包括循环采集和定时采集,其中循环采集是按照一个固定的时间间隔(从前一次任务停止到下一次任务启动),循环启动采集任务;定时采集是按照设置的时间周期,循环启动采集任务。

更多详情内容,请参考以下教程:

如何设置定时采集

2、智能策略

智能策略设置包含代理设置、智能切换设置、手动切换设置

3、自动导出

通过使用该功能,可以实现在采集数据的过程中自动导出采集结果到本地文件和数据库,不需要等到任务运行结束后手动导出数据。

更多详情内容,请参考以下教程:

如何设置自动导出

4、文件下载

软件支持在采集的过程中下载文件,文件类型包括:图片、音频、视频、文档及其他文件,用户可以选择保存路径,并且按照规则创建独立文件夹或重命名下载的文件。

更多详情内容,请参考以下教程:

如何设置文件下载

5、加速引擎

加速引擎功能可以对采集任务进行加速,加速效果和网页加载速度以及采集任务的设置有关,通常可以达到3~10倍的加速效果。

更多详情内容,请参考以下教程:

如何使用加速引擎

6、数据去重

数据去重功能是指在任务采集过程中,将当前采集的数据与已经采集的数据进行对比,如果发现数据重复,就根据设置条件进行处理。

如果当前任务中保存的数据越多,去重比较过程就越慢,因此开启此项功能会造成采集速度变慢,大家请谨慎使用。

更多详情内容,请参考以下教程:

如何设置数据去重

7、开发者设置

后羿采集器支持Webhook功能,通过使用该功能,后羿采集器可以将采集到的数据发布到HTTP地址。

更多详情内容,请参考以下教程:

如何设置Webhook功能

365crawadmin

这个人很懒,什么都没留下

文章评论

您需要 登录 之后才可以评论