一、功能简介 八爪鱼新上线触发器功能,通过对「提取数据」步骤中的字段,设置【某字段 → 满足/不满足某条件 → 就执行某操作】,以限制采集范围,提高采集效率。   二、适用版本 V8.4.0以上版本   三、功能具体说明   每一个「提取数据」步骤,都可设置触发器。 点击【提取数据】步骤,在下方设置页面,点击[高级设置]点击「新增触发器」,可进入到触发器编辑界面,设置触发器名称和条件。     1、设置触发器名称     2、设置触发器条件 1)字段 如图位置,将展示本「提取数据」步骤中的所有字段,可选择要设置条件…

2023年9月5日 0条评论 46点热度 0人点赞 365crawadmin 阅读全文

通过八爪鱼云采集,可以实现多个任务并发采集,极大提高采集效率。 云采集原理是什么?什么样的规则可实现云加速?本文将详细讲解。   一、云采集原理 云采集是指,使用由八爪鱼提供的云服务集群进行数据采集。八爪鱼拥有5000+云服务器,7*24小时不间断运行(一台云服务器可看做一个云节点)。   八爪鱼的采集任务运行在云节点上时: a. 在满足可拆分的情况下,1个任务最多拆成100个子任务。(3类任务可拆分,下文将详细讲解) b. 1个任务/子任务需占用一个云节点进行采集。也就是说,1个云节点同时只能运行一个任务/子任务…

2023年9月5日 0条评论 45点热度 0人点赞 365crawadmin 阅读全文

有很多网站,通过点击【加载更多】或【再显示20条】等按钮进行翻页。像 搜狗微信首页 、微博评论 等页面都是这种情况。   针对这种网页,八爪鱼V8.4.0版本新增【边点击边采集】功能,可以边点击【加载更多按钮】,加载出新数据,边采集每次加载的新数据。   例:设置点击20次,则点击1次后,采集第1次点击后加载的数据,继续点击第2次,采集第2次点击后加载的数据.......直至点击20次,采集第20次点击后加载的数据。   使用智能识别和自行配置的采集规则,都能实现【边点击边采集】,具体设置方法如下。   一、使用智…

2023年9月5日 0条评论 33点热度 0人点赞 365crawadmin 阅读全文

采集场景 进入中国银行保险监督管理委员会【新闻资讯】版块下的【监管动态】栏目 http://www.cbirc.gov.cn/cn/view/pages/ItemList.html?itemPId=914&itemId=915&itemUrl=ItemListRightList.html&itemName=%E7%9B%91%E7%AE%A1%E5%8A%A8%E6%80%81  ,进入每条监管动态详情,采集其详情页信息。   采集字段 当前位置、标题、标题链接、发布时间、来源、正文、当前采…

2023年9月5日 0条评论 39点热度 0人点赞 365crawadmin 阅读全文

采集场景 在百度地图首页(https://map.baidu.com)输入【城市+关键词】搜索,采集搜索结果列表页。示例中关键词为【深圳 火锅】,可根据需求进行更换,同时支持自动批量输入多个关键词。   采集字段 搜索关键词、商家名称、人均、地址等。     鼠标放到图片上,右键,选择【在新标签页中打开图片】可查看高清大图 下文其他图片同理   采集结果 采集结果可导出为Excel,CSV,HTML,数据库等多种格式。导出为Excel示例:     教程说明 本篇制作时间:2022/6/16    八爪鱼版本:V8…

2023年9月5日 0条评论 61点热度 0人点赞 365crawadmin 阅读全文

在 客户端界面介绍 里,我们简单讲了数据采集的2种模式:【使用模板采集数据】和【自定义配置采集数据】。【使用模板采集数据】之前已经讲过,点击学习   【自定义配置采集数据】稍微复杂一点,我们将用1个系列的8节课来学习。在这8节课中,我们将介绍使用八爪鱼自行配置采集流程,进行网页数据采集的基础知识。学完这8节课,能够轻松采集到90%的网页数据。   第1课:自定义配置采集数据基本介绍(含智能识别) 本课 第2课:采集单个数据 第3课:采集列表数据 第4课:采集表格数据 第5课:需依次点击多个链接进入详情,采集每个详情…

2023年9月5日 0条评论 37点热度 0人点赞 365crawadmin 阅读全文

采集场景 在微博主页(https://weibo.com/)登录后,输入关键词搜索,采集得到的搜索结果列表数据。支持按【高级搜索】中设置的条件进搜索。         采集字段 博主用户名、发布时间、博文内容、分享数、评论数、点赞数、评论、评论用户名、评论时间。   采集结果 采集结果可导出为Excel、CSV、HTML、数据库等多种格式。导出为Excel示例:       教程说明 本篇更新时间:2023/03/30   八爪鱼版本:V8.6.0 如果因网页改版造成网址或步骤无效,无法收集到目标数据,请联系官方客…

2023年9月5日 0条评论 22点热度 0人点赞 365crawadmin 阅读全文

在正式开始数据采集之前,请根据自身系统,下载安装合适的八爪鱼客户端。 本文讲解Mac客户端安装方法与常见问题汇总。如安装过程遇到【无法打开】等情况,请参考文章下方的常见问题。  清除缓存 一、从未安装过八爪鱼Mac客户端,按以下流程操作安装即可:   1、系统要求   macOS 10.14 (Yosemite) 及更高版本(64位)。如您的系统低于10.14,请更新系统,或联系客服安装8.1.24版客户端。   特别说明: a. 如何查看自己电脑是什么系统?点击  ,选择【关于本机】,即可查看。

2023年9月5日 0条评论 35点热度 0人点赞 365crawadmin 阅读全文

本教程为大家讲解【判断条件】的使用场景与设置方法。   一、【判断条件】常见使用场景    1、判断某一条件(如关键词)是否存在,存在就采集,不存在则不采。 例:采集京东商品信息,只想采集自营商品。可以通过【判断条件】判断是否为自营商品,是则采集,不是则不采。 2、要采集的数据有多种情况,网页源码存在多种样式,需分开收集。 例:网页正文有的是图片有的文字,两者的数据提取方法不同。可以通过【判断条件】判断是图片还是文字,是图片走图片采集分支,是文字则走文字采集分支。   3、判断页面是否出现验证码,出现则自动识别,未…

2023年9月5日 0条评论 40点热度 0人点赞 365crawadmin 阅读全文

一、云采集是什么?   云采集是指,使用由八爪鱼提供的云服务进行数据采集。八爪拥有5000+云服务器,7*24小时运行云采集服务。 我们在本地电脑上将任务配置完成,测试没有问题以后,就可以选择启动八爪鱼的云采集。 注意,团队版以上用户自带云采集功能。什么是团队版?点击查看 版本套餐 。   二、云采集优势   与【本地采集】对比,【云采集】具有以下优势: 1、采集速度更快。 2、实现无人值守。可关闭电脑、软件进行数据采集,真正实现无人值守。 3、定时采集。云服务器是7*24小时,可设置任务的定时启动工作。 4、数据…

2023年9月5日 0条评论 51点热度 0人点赞 365crawadmin 阅读全文
13456713