有很多网站,通过点击【加载更多】或【再显示20条】等按钮进行翻页。像 搜狗微信首页 、微博评论 等页面都是这种情况。   针对这种网页,八爪鱼V8.4.0版本新增【边点击边采集】功能,可以边点击【加载更多按钮】,加载出新数据,边采集每次加载的新数据。   例:设置点击20次,则点击1次后,采集第1次点击后加载的数据,继续点击第2次,采集第2次点击后加载的数据.......直至点击20次,采集第20次点击后加载的数据。   使用智能识别和自行配置的采集规则,都能实现【边点击边采集】,具体设置方法如下。   一、使用智…

2023年9月5日 0条评论 33点热度 0人点赞 365crawadmin 阅读全文

采集场景 进入中国银行保险监督管理委员会【新闻资讯】版块下的【监管动态】栏目 http://www.cbirc.gov.cn/cn/view/pages/ItemList.html?itemPId=914&itemId=915&itemUrl=ItemListRightList.html&itemName=%E7%9B%91%E7%AE%A1%E5%8A%A8%E6%80%81  ,进入每条监管动态详情,采集其详情页信息。   采集字段 当前位置、标题、标题链接、发布时间、来源、正文、当前采…

2023年9月5日 0条评论 39点热度 0人点赞 365crawadmin 阅读全文

采集场景 在百度地图首页(https://map.baidu.com)输入【城市+关键词】搜索,采集搜索结果列表页。示例中关键词为【深圳 火锅】,可根据需求进行更换,同时支持自动批量输入多个关键词。   采集字段 搜索关键词、商家名称、人均、地址等。     鼠标放到图片上,右键,选择【在新标签页中打开图片】可查看高清大图 下文其他图片同理   采集结果 采集结果可导出为Excel,CSV,HTML,数据库等多种格式。导出为Excel示例:     教程说明 本篇制作时间:2022/6/16    八爪鱼版本:V8…

2023年9月5日 0条评论 61点热度 0人点赞 365crawadmin 阅读全文

在 客户端界面介绍 里,我们简单讲了数据采集的2种模式:【使用模板采集数据】和【自定义配置采集数据】。【使用模板采集数据】之前已经讲过,点击学习   【自定义配置采集数据】稍微复杂一点,我们将用1个系列的8节课来学习。在这8节课中,我们将介绍使用八爪鱼自行配置采集流程,进行网页数据采集的基础知识。学完这8节课,能够轻松采集到90%的网页数据。   第1课:自定义配置采集数据基本介绍(含智能识别) 本课 第2课:采集单个数据 第3课:采集列表数据 第4课:采集表格数据 第5课:需依次点击多个链接进入详情,采集每个详情…

2023年9月5日 0条评论 37点热度 0人点赞 365crawadmin 阅读全文

采集场景 在微博主页(https://weibo.com/)登录后,输入关键词搜索,采集得到的搜索结果列表数据。支持按【高级搜索】中设置的条件进搜索。         采集字段 博主用户名、发布时间、博文内容、分享数、评论数、点赞数、评论、评论用户名、评论时间。   采集结果 采集结果可导出为Excel、CSV、HTML、数据库等多种格式。导出为Excel示例:       教程说明 本篇更新时间:2023/03/30   八爪鱼版本:V8.6.0 如果因网页改版造成网址或步骤无效,无法收集到目标数据,请联系官方客…

2023年9月5日 0条评论 22点热度 0人点赞 365crawadmin 阅读全文

在正式开始数据采集之前,请根据自身系统,下载安装合适的八爪鱼客户端。 本文讲解Mac客户端安装方法与常见问题汇总。如安装过程遇到【无法打开】等情况,请参考文章下方的常见问题。  清除缓存 一、从未安装过八爪鱼Mac客户端,按以下流程操作安装即可:   1、系统要求   macOS 10.14 (Yosemite) 及更高版本(64位)。如您的系统低于10.14,请更新系统,或联系客服安装8.1.24版客户端。   特别说明: a. 如何查看自己电脑是什么系统?点击  ,选择【关于本机】,即可查看。

2023年9月5日 0条评论 35点热度 0人点赞 365crawadmin 阅读全文

本教程为大家讲解【判断条件】的使用场景与设置方法。   一、【判断条件】常见使用场景    1、判断某一条件(如关键词)是否存在,存在就采集,不存在则不采。 例:采集京东商品信息,只想采集自营商品。可以通过【判断条件】判断是否为自营商品,是则采集,不是则不采。 2、要采集的数据有多种情况,网页源码存在多种样式,需分开收集。 例:网页正文有的是图片有的文字,两者的数据提取方法不同。可以通过【判断条件】判断是图片还是文字,是图片走图片采集分支,是文字则走文字采集分支。   3、判断页面是否出现验证码,出现则自动识别,未…

2023年9月5日 0条评论 40点热度 0人点赞 365crawadmin 阅读全文

一、云采集是什么?   云采集是指,使用由八爪鱼提供的云服务进行数据采集。八爪拥有5000+云服务器,7*24小时运行云采集服务。 我们在本地电脑上将任务配置完成,测试没有问题以后,就可以选择启动八爪鱼的云采集。 注意,团队版以上用户自带云采集功能。什么是团队版?点击查看 版本套餐 。   二、云采集优势   与【本地采集】对比,【云采集】具有以下优势: 1、采集速度更快。 2、实现无人值守。可关闭电脑、软件进行数据采集,真正实现无人值守。 3、定时采集。云服务器是7*24小时,可设置任务的定时启动工作。 4、数据…

2023年9月5日 0条评论 51点热度 0人点赞 365crawadmin 阅读全文

有的网页无下一页按钮,通过点击数字进行翻页,示例网址如:http://stock.cngold.org/news/ 使用智能识别和自行配置的采集规则,都能实现点击数字进行翻页,具体设置方法如下:     1、使用智能识别实现【数字翻页】 八爪鱼的智能识别,支持【数字翻页】的智能识别,如下图所示:     2、自己配置采集流程实现【数字翻页】 如果想了解背后的原理,我们可以来尝试自己配置这类网页的采集流程。   让八爪鱼不断点击数字进行翻页:当前页是第1页,点第2页;当前页是第2页,点第3页.......当前页是最后…

2023年9月5日 0条评论 19点热度 0人点赞 365crawadmin 阅读全文

采集场景 在AliExpress(速卖通) 网站上进入商品详情页,采集商品的评论信息。 示例网址: http://www.aliexpress.com/item/4000093476853.html https://es.aliexpress.com/item/1005003334666560.html 采集字段 商品id、标题、价格、评论数、评分、五星率、四星率、三星率、两星率、一星率、评论者、国籍、商品属性、评论内容、评论时间   点击查看高清大图,下文其他图片同理     采集结果 采集结果可导出为Excel…

2023年9月5日 0条评论 42点热度 0人点赞 365crawadmin 阅读全文
1234513