问题: 任务停止后,下次采集时可以从停止的地方继续采集吗? 回答: 目前不可以,任务停止后,下次采集会从头开始采集。 如果想实现断点续采请参考续采的教程: 如何实现断点续采

2023年9月5日 0条评论 56点热度 0人点赞 365crawadmin 阅读全文

在后羿采集器中,采集任务的基础设置如下: 1、创建新任务 后羿采集器提供了任务的多种创建方式,可以直接在主页上点击相应的按钮新建不同模式的采集任务,也可以点击左上角图标,创建新任务。 2、删除任务 在删除单个任务时可直接点击任务右侧的“×”进行删除,如果要删除多个任务,可以按Ctrl或Shift键选中多个任务后,右击进行删除。 3、任务设置 右击任务,在弹出的菜单中对其进行设置。具体设置包括:启动任务、编辑任务、查看数据、修改名称、导出规则、修改分组和删除任务。 4、创建任务分组 点击左上角图标,创建任务分组,同时…

2023年9月5日 0条评论 63点热度 0人点赞 365crawadmin 阅读全文

采集任务是后羿采集器记录采集任务的具体设置信息,并且能进行导入导出操作的一个程序脚本。 导入已有的任务后既可以进行修改,也可以不做修改直接按照所配置的任务自动地进行数据采集,导出的任务可以发送给其他用户进行使用。 导入的任务可以直接右击任务,点击开始运行或者点击编辑任务对任务进行修改。 下面介绍一下如何导入和导出采集任务。 1、导入采集任务 点击左上角图标导入本地任务。 2、导出采集任务 右击任务,选择导出任务到本地。

2023年9月5日 0条评论 65点热度 0人点赞 365crawadmin 阅读全文

智能模式是后羿采集器中最简单的模式,也是我们首推的模式,尤其适合新手用户,本教程主要给大家介绍如何创建智能模式任务。 1、创建智能模式任务的位置: 1)在采集器首页输入框:只能输入一个网址。 在此输入网址之后,软件会直接跳转到任务编辑界面,用户可在任务编辑界面继续操作。 2)在左侧工具栏新建智能模式任务 3)在首页输入框下的右侧开始采集按钮新建智能模式任务 从 2)和 3)的位置点击之后会进入智能模式任务创建的界面,用户可以在此进行更多的设置。 2、创建智能模式任务的设置 1)选择任务创建的分组 用户可以在这里选择…

2023年9月5日 0条评论 80点热度 0人点赞 365crawadmin 阅读全文

本教程主要给大家介绍如何创建流程图模式任务,对于新手同学我们推荐优先使用智能模式。 1、输入网址的位置: 1)在左侧工具栏新建流程图模式任务 2)在首页输入框下的左侧开始采集按钮新建流程图模式任务 从上述两个的位置点击之后会进入流程图模式任务创建的设置界面,我们可以在此进行更多的新建任务设置。 2、创建流程图模式任务的设置 1)选择任务创建的分组 我们可以在这里选择把任务创建在哪个分组下,此外,也可以在左侧任务栏右击任务选择分组。 2)选择任务创建的名称 我们可以选择自定义输入方式,也可以按照任务分组名称+编号的方…

2023年9月5日 0条评论 79点热度 0人点赞 365crawadmin 阅读全文

在新建智能模式任务之后,软件会打开任务编辑界面,本教程为大家介绍如何在智能模式的任务编辑页面进行任务设置。 1、刷新网页 如果遇到网页加载不出来的情况,可以点击刷新按钮刷新网页,软件会刷新当前网页并重新进行智能识别。 2、修改任务网址 这里可以对网址进行编辑,超过200个请直接修改本地文件。 注意:如果是从本地文件中导入的网址,这里的修改不会影响本地文件。 更多详情内容,请参考以下教程: 如何修改网址 3、预登录功能 遇到需要登录的网页,可以点击此位置使用预登录功能 更多详情内容,请参考以下教程: 如何采集需要登录…

2023年9月5日 0条评论 76点热度 0人点赞 365crawadmin 阅读全文

在新建流程图模式任务之后,软件会打开任务编辑界面,本教程为大家介绍如何在流程图模式的任务编辑页面进行任务设置。 1、刷新网页 如果遇到网页加载不出来的情况,可以点击刷新按钮刷新网页。 2、修改任务网址 用户可以在下图的两个位置对网址进行编辑,超过200个请直接修改本地文件。 注意:如果是从本地文件中导入的网址,这里的修改不会影响本地文件。 更多详情内容,请参考以下教程: 如何修改网址 3、预登录功能 遇到需要登录的网页,可以点击此位置使用预登录功能。 更多详情内容,请参考以下教程: 如何采集需要登录才能查看的网页 …

2023年9月5日 0条评论 91点热度 0人点赞 365crawadmin 阅读全文

启动任务设置完毕之后,我们点击“启动”按钮。 然后会打开任务运行界面,在这个界面上我们可以查看网页、查看运行日志、查看采集结果、开启自动导出、开启加速、暂停任务或者停止任务。 1、查看网页 点击页面上的“查看网页”按钮,可以在新打开的窗口中查看当前正在采集的网页。 在这个界面中,我们点击右上角的保存按钮,可以把这个网页保存下来,一般用于需要保存当前网页来排查遇到的问题。 2、运行日志 点击“运行日志”可以查看当前任务的运行状态。 3、查看采集结果 点击“数据”可以预览当前任务的部分采集结果。 4、暂停 点击“暂停”…

2023年9月5日 0条评论 81点热度 0人点赞 365crawadmin 阅读全文

在编辑任务界面,点击右下角“开始采集”按钮,跳转到任务启动界面,我们可以在任务启动界面对任务进行配置。 1、定时启动 定时启动功能包括循环采集和定时采集,其中循环采集是按照一个固定的时间间隔(从前一次任务停止到下一次任务启动),循环启动采集任务;定时采集是按照设置的时间周期,循环启动采集任务。 更多详情内容,请参考以下教程: 如何设置定时采集 2、智能策略 智能策略设置包含代理设置、智能切换设置、手动切换设置 3、自动导出 通过使用该功能,可以实现在采集数据的过程中自动导出采集结果到本地文件和数据库,不需要等到任务…

2023年9月5日 0条评论 71点热度 0人点赞 365crawadmin 阅读全文

一、优化目的 充分利用账号内的云节点,减少节点的闲置时间,提高采集效率,采集更多的数据。   二、云节点分配原则 1、优先级相同 先启动的任务,优先进行第一批次的节点分配,其剩余子任务和后启动任务的子任务一起随机分配。   2、启动时间相同 优先级越高的任务,越先分配到节点。   场景举例: 假设账号内有5个节点,并行任务数为5。 同时启动了10个优先级相同的任务,任务在云端会先进行拆分(假设都可以拆分)。 任务A可拆分成子任务a1,a2,a3,...,an; 任务B可拆分成子任务b1,b2,b3,...,bn; …

2023年9月5日 0条评论 73点热度 0人点赞 365crawadmin 阅读全文
12