八爪鱼提供两套API接口，均可以获取通过八爪鱼采集到的数据，实现秒级导出； 获取任务信息，无需启动八爪鱼客户端即可控制任务启停；无缝对接企业的内部系统。 第一套接口今后将不再更新，为提升您今后的使用体验，推荐您使用第二套API接口。   第一套API接口 :   于2018年4月上线，分为 数据导出API 主域名：https://dataapi.bazhuayu.com/  和 任务控制API  主域名：https://advancedapi.bazhuayu.com/     第二套API接口 ： 于2021年1…

本教程将介绍企业版套餐，并讲解如何查看/管理账号下的云采集节点，优化分配策略，提高采集效率。 一、企业版基本介绍 企业版是八爪鱼SaaS版本中的最高版本。企业版处于特定集群，拥有固定的云节点数，通常为30个或100个，专为具有企业级数据采集需求的客户而设计。 而团队版（旧套餐旗舰\旗舰+版本），则处于公共集群，其节点数是浮动变化的，所有团队版（就套餐旗舰/旗舰+）用户一起争夺节点的使用权。   二、企业版可手动调整每个任务的云节点数 企业版账号下的每个任务，云采集的最大可用节点数，默认为2（即每个任务最多有2个云节…

一、优化目的 充分利用账号内的云节点，减少节点的闲置时间，提高采集效率，采集更多的数据。   二、云节点分配原则 1、优先级相同 先启动的任务，优先进行第一批次的节点分配，其剩余子任务和后启动任务的子任务一起随机分配。   2、启动时间相同 优先级越高的任务，越先分配到节点。   场景举例： 假设账号内有5个节点，并行任务数为5。 同时启动了10个优先级相同的任务，任务在云端会先进行拆分（假设都可以拆分）。 任务A可拆分成子任务a1,a2,a3,...,an; 任务B可拆分成子任务b1,b2,b3,...,bn; …

在采集数据过程中，我们可能有这样的：第一次采集所有数据，需要再采集的时候只需要采集网络就添加的数据，这时候就可以使用八爪鱼的【增量采集】功能。   【增量采集】通过对比URL来实现增量数据的采集： 将当前URL与历史URL对比，如果相同URL与历史URL相同，则跳过不采集。反之则采集。   一、功能说明 在任务配置页面，点击【采集配置】按钮，进入配置页面：   进入设置页面后，可以看到： 【启用增量采集】的选项。同时提供两种网址对比方式： 【对比整个URL，包含所有参数】：当前整条网址与之前采集过的网址做对比，如果…

很多用户在制作规则的时候，可能会遇到总是在一二页循环提取数据，而不会转到第三页的情况，这其实是由于Xpath定位不好导致的，我们需要通过修改Xpath来解决这个翻页问题。   在出现这个问题的时候，我们可以直接在流程里面找到问题所在，下面的规则是直接按照新手入门的步骤做的。 示例网址：https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=1&tn=baidu&wd=%E5%A4%A7%E6%95%B0%E6%8D%AE&a…

有些网站可能我们用系统做好的规则在采集的时候可能明明已经采集最后一页了，就是不停止，一直在最后一页循环采集，这种情况其实是由于Xpath定位不对导致的，我们需要通过修改Xpath来解决这个翻页问题。   在出现这个问题的时候，我们可以直接在流程里面找到问题所在，下面的规则是直接按照新手入门的步骤做的（列表循环-翻页循环）： 此教程引用的示例网址：http://www.gzebpubservice.cn/dlzbgg/index_590.htm            如上图中，浏览器中要采集的数据已经在最后一页了，可…

如果用八爪鱼配置规则，采集数据出现异常，我们如何快速找出并解决问题？如何更好与客服沟通？ 本教程将讲解规则排错的基本思路与方法。   一、手动执行规则   做好采集规则以后，我们最好手动执行一下规则，检查规则是否满足采集需求。 手动执行规则是什么意思？打开流程图界面，按照从上至下，由内而外的逻辑（点击查看 流程执行逻辑教程），将每个步骤都点击一遍，并观察点击步骤后的页面情况。如果符合预期，没问题。如果不符合预期，则需要修改。   1、手动执行规则，符合预期   特别说明： a. 在点击【循环列表】时，最好选择除第1…

一、如何解决网页空白   在编辑采集流程步骤中，我们可能会遇到浏览器窗口的网页变成空白的页面。例如从列表页面点击进入详情页，在详情页提取数据时，浏览器中的网页就变成空白页 about:blank。     （浏览器窗口空白01）   这是因为【点击元素】（或【点击列表链接】）的【高级设置】中勾选了【在新标签中打开】，而导致的。   （浏览器窗口空白02）   有些网页的点击并不是开标签的，而ajax加载的（什么是ajax，请参考：Ajax网页设置方法）。   所以对这类网页空白的情况，我们可以通过不勾选【在新标签中…

云采集排错教程   本教程针对本地采集有数据，云采集没有数据的排错教程，如果本地采集没有数据，请先参考本地采集排错教程 本地采集有数据，云采集没有数据主要原因为以下几点：   1.防采集 2.网站或网速原因 3.网络环境不同，源码有变，原xpath定位不准 4.网站只允许单浏览器或单IP登录     一、防采集 防采集主要是以下三类：IP被封禁止访问、出现验证码、云上需要登录 针对以上三种情况，都可以通过采集网页的html源码进行观察，这里我们以百姓网招聘数据采集为例。如下图1所示启动云采集后子任务出现采集为0的情…

在数据采集过程中，我们可能有这样的需求：第一次采集所有数据，后续再采集的时候只需要采集网页上新增的数据。 自动采集新增数据的需求，可以通过八爪鱼的定时云采集配合多种策略实现，以下将结合实例详细讲解。 注意：定时云采集是八爪鱼采集器团队版及以上版本才具有的功能（旧套餐旗舰版及以上版本），详情请看 版本介绍 。   实例网址：http://www.gdgpo.gov.cn/queryMoreInfoList/channelCode/0008.html 采集需求：定时采集广东省政府采购网列表中新增的公告标题、标题链接和发…