一、优化目的 充分利用账号内的云节点，减少节点的闲置时间，提高采集效率，采集更多的数据。   二、云节点分配原则 1、优先级相同 先启动的任务，优先进行第一批次的节点分配，其剩余子任务和后启动任务的子任务一起随机分配。   2、启动时间相同 优先级越高的任务，越先分配到节点。   场景举例： 假设账号内有5个节点，并行任务数为5。 同时启动了10个优先级相同的任务，任务在云端会先进行拆分（假设都可以拆分）。 任务A可拆分成子任务a1,a2,a3,...,an; 任务B可拆分成子任务b1,b2,b3,...,bn; …

八爪鱼提供两套API接口，均可以获取通过八爪鱼采集到的数据，实现秒级导出； 获取任务信息，无需启动八爪鱼客户端即可控制任务启停；无缝对接企业的内部系统。 第一套接口今后将不再更新，为提升您今后的使用体验，推荐您使用第二套API接口。   第一套API接口 :   于2018年4月上线，分为 数据导出API 主域名：https://dataapi.bazhuayu.com/  和 任务控制API  主域名：https://advancedapi.bazhuayu.com/     第二套API接口 ： 于2021年1…

在 客户端界面介绍 里，我们简单讲了数据采集的2种模式：【使用模板采集数据】和【自定义配置采集数据】。 本文将详细讲解【自定义任务编辑界面介绍】，【自定义配置采集数据】可点击开始学习 。   一、自定义采集界面介绍 自定义任务界面是在自定义采集模式下出现的界面，该界面包含了不同的功能分区，自定义模式界面所下图示。   1）左上角红框为任务名，双击后可进行修改，修改完成后点击其他位置即可进行保存。      2）界面右上角为【切换浏览模式】、【设置】、【点击隐藏数据预览】、【点击隐藏流程图】、【保存】及【采集】按键。…

问题： 任务停止后，下次采集时可以从停止的地方继续采集吗？ 回答： 目前不可以，任务停止后，下次采集会从头开始采集。 如果想实现断点续采请参考续采的教程： 如何实现断点续采

在后羿采集器中，采集任务的基础设置如下： 1、创建新任务 后羿采集器提供了任务的多种创建方式，可以直接在主页上点击相应的按钮新建不同模式的采集任务，也可以点击左上角图标，创建新任务。 2、删除任务 在删除单个任务时可直接点击任务右侧的“×”进行删除，如果要删除多个任务，可以按Ctrl或Shift键选中多个任务后，右击进行删除。 3、任务设置 右击任务，在弹出的菜单中对其进行设置。具体设置包括：启动任务、编辑任务、查看数据、修改名称、导出规则、修改分组和删除任务。 4、创建任务分组 点击左上角图标，创建任务分组，同时…

采集任务是后羿采集器记录采集任务的具体设置信息，并且能进行导入导出操作的一个程序脚本。 导入已有的任务后既可以进行修改，也可以不做修改直接按照所配置的任务自动地进行数据采集，导出的任务可以发送给其他用户进行使用。 导入的任务可以直接右击任务，点击开始运行或者点击编辑任务对任务进行修改。 下面介绍一下如何导入和导出采集任务。 1、导入采集任务 点击左上角图标导入本地任务。 2、导出采集任务 右击任务，选择导出任务到本地。

智能模式是后羿采集器中最简单的模式，也是我们首推的模式，尤其适合新手用户，本教程主要给大家介绍如何创建智能模式任务。 1、创建智能模式任务的位置： 1）在采集器首页输入框：只能输入一个网址。 在此输入网址之后，软件会直接跳转到任务编辑界面，用户可在任务编辑界面继续操作。 2）在左侧工具栏新建智能模式任务 3）在首页输入框下的右侧开始采集按钮新建智能模式任务 从 2）和 3）的位置点击之后会进入智能模式任务创建的界面，用户可以在此进行更多的设置。 2、创建智能模式任务的设置 1）选择任务创建的分组 用户可以在这里选择…

本教程主要给大家介绍如何创建流程图模式任务，对于新手同学我们推荐优先使用智能模式。 1、输入网址的位置： 1）在左侧工具栏新建流程图模式任务 2）在首页输入框下的左侧开始采集按钮新建流程图模式任务 从上述两个的位置点击之后会进入流程图模式任务创建的设置界面，我们可以在此进行更多的新建任务设置。 2、创建流程图模式任务的设置 1）选择任务创建的分组 我们可以在这里选择把任务创建在哪个分组下，此外，也可以在左侧任务栏右击任务选择分组。 2）选择任务创建的名称 我们可以选择自定义输入方式，也可以按照任务分组名称+编号的方…

在新建智能模式任务之后，软件会打开任务编辑界面，本教程为大家介绍如何在智能模式的任务编辑页面进行任务设置。 1、刷新网页 如果遇到网页加载不出来的情况，可以点击刷新按钮刷新网页，软件会刷新当前网页并重新进行智能识别。 2、修改任务网址 这里可以对网址进行编辑，超过200个请直接修改本地文件。 注意：如果是从本地文件中导入的网址，这里的修改不会影响本地文件。 更多详情内容，请参考以下教程： 如何修改网址 3、预登录功能 遇到需要登录的网页，可以点击此位置使用预登录功能 更多详情内容，请参考以下教程： 如何采集需要登录…

在新建流程图模式任务之后，软件会打开任务编辑界面，本教程为大家介绍如何在流程图模式的任务编辑页面进行任务设置。 1、刷新网页 如果遇到网页加载不出来的情况，可以点击刷新按钮刷新网页。 2、修改任务网址 用户可以在下图的两个位置对网址进行编辑，超过200个请直接修改本地文件。 注意：如果是从本地文件中导入的网址，这里的修改不会影响本地文件。 更多详情内容，请参考以下教程： 如何修改网址 3、预登录功能 遇到需要登录的网页，可以点击此位置使用预登录功能。 更多详情内容，请参考以下教程： 如何采集需要登录才能查看的网页 …