采集场景 采集某个微博博主主页的博文数据,实例地址https://weibo.com/u/3261134763 https://weibo.com/2656274875?refer_flag=1001030103_ 采集字段 粉丝数、关注数、全部微博数、发布时间、博文内容、分享数、评论数、点赞数 采集结果 采集结果可导出为Excel、CSV、HTML、数据库等多种格式。 教程说明 本篇更新时间:2023/03/28 八爪鱼版本:V8.6 如因网页改版导致网址或步骤无效,无法收集到目标数据,请…
采集场景 采集某个微博博主主页的博文数据,实例地址https://weibo.com/u/3261134763 https://weibo.com/2656274875?refer_flag=1001030103_ 采集字段 粉丝数、关注数、全部微博数、发布时间、博文内容、分享数、评论数、点赞数 采集结果 采集结果可导出为Excel、CSV、HTML、数据库等多种格式。 教程说明 本篇更新时间:2023/03/28 八爪鱼版本:V8.6 如因网页改版导致网址或步骤无效,无法收集到目标数据,请…
采集场景 京东商品详情页中的评价,有多个分类:【全部评价】、【晒图】、【视频晒单】、【追评】、【好评】、【中评】、【差评】。其中【全部评价】默认展现,其他需点击后展现。本文以按【差评】筛选采集为例讲解。实例网址:https://item.jd.com/100005185609.html;https://item.jd.com/100006607505.html;https://item.jd.com/100004770263.html。 采集字段 用户名、评价正文、颜色、内存、评论时间、店铺名称、星级。 …
通过八爪鱼云采集,可以实现多个任务并发采集,极大提高采集效率。 云采集原理是什么?什么样的规则可实现云加速?本文将详细讲解。 一、云采集原理 云采集是指,使用由八爪鱼提供的云服务集群进行数据采集。八爪鱼拥有5000+云服务器,7*24小时不间断运行(一台云服务器可看做一个云节点)。 八爪鱼的采集任务运行在云节点上时: a. 在满足可拆分的情况下,1个任务最多拆成100个子任务。(3类任务可拆分,下文将详细讲解) b. 1个任务/子任务需占用一个云节点进行采集。也就是说,1个云节点同时只能运行一个任务/子任务…
有很多网站,通过点击【加载更多】或【再显示20条】等按钮进行翻页。像 搜狗微信首页 、微博评论 等页面都是这种情况。 针对这种网页,八爪鱼V8.4.0版本新增【边点击边采集】功能,可以边点击【加载更多按钮】,加载出新数据,边采集每次加载的新数据。 例:设置点击20次,则点击1次后,采集第1次点击后加载的数据,继续点击第2次,采集第2次点击后加载的数据.......直至点击20次,采集第20次点击后加载的数据。 使用智能识别和自行配置的采集规则,都能实现【边点击边采集】,具体设置方法如下。 一、使用智…
采集场景 进入中国银行保险监督管理委员会【新闻资讯】版块下的【监管动态】栏目 http://www.cbirc.gov.cn/cn/view/pages/ItemList.html?itemPId=914&itemId=915&itemUrl=ItemListRightList.html&itemName=%E7%9B%91%E7%AE%A1%E5%8A%A8%E6%80%81 ,进入每条监管动态详情,采集其详情页信息。 采集字段 当前位置、标题、标题链接、发布时间、来源、正文、当前采…
采集场景 在百度地图首页(https://map.baidu.com)输入【城市+关键词】搜索,采集搜索结果列表页。示例中关键词为【深圳 火锅】,可根据需求进行更换,同时支持自动批量输入多个关键词。 采集字段 搜索关键词、商家名称、人均、地址等。 鼠标放到图片上,右键,选择【在新标签页中打开图片】可查看高清大图 下文其他图片同理 采集结果 采集结果可导出为Excel,CSV,HTML,数据库等多种格式。导出为Excel示例: 教程说明 本篇制作时间:2022/6/16 八爪鱼版本:V8…
在 客户端界面介绍 里,我们简单讲了数据采集的2种模式:【使用模板采集数据】和【自定义配置采集数据】。【使用模板采集数据】之前已经讲过,点击学习 【自定义配置采集数据】稍微复杂一点,我们将用1个系列的8节课来学习。在这8节课中,我们将介绍使用八爪鱼自行配置采集流程,进行网页数据采集的基础知识。学完这8节课,能够轻松采集到90%的网页数据。 第1课:自定义配置采集数据基本介绍(含智能识别) 本课 第2课:采集单个数据 第3课:采集列表数据 第4课:采集表格数据 第5课:需依次点击多个链接进入详情,采集每个详情…
采集场景 在微博主页(https://weibo.com/)登录后,输入关键词搜索,采集得到的搜索结果列表数据。支持按【高级搜索】中设置的条件进搜索。 采集字段 博主用户名、发布时间、博文内容、分享数、评论数、点赞数、评论、评论用户名、评论时间。 采集结果 采集结果可导出为Excel、CSV、HTML、数据库等多种格式。导出为Excel示例: 教程说明 本篇更新时间:2023/03/30 八爪鱼版本:V8.6.0 如果因网页改版造成网址或步骤无效,无法收集到目标数据,请联系官方客…
在正式开始数据采集之前,请根据自身系统,下载安装合适的八爪鱼客户端。 本文讲解Mac客户端安装方法与常见问题汇总。如安装过程遇到【无法打开】等情况,请参考文章下方的常见问题。 清除缓存 一、从未安装过八爪鱼Mac客户端,按以下流程操作安装即可: 1、系统要求 macOS 10.14 (Yosemite) 及更高版本(64位)。如您的系统低于10.14,请更新系统,或联系客服安装8.1.24版客户端。 特别说明: a. 如何查看自己电脑是什么系统?点击 ,选择【关于本机】,即可查看。