很多网页使用了Ajax 技术，针对这种网页，我们需在八爪鱼中进行Ajax设置。   一、什么是Ajax？   Ajax (Asynchronous JavaScript and XML) ：异步JavaScript 和XML。 Ajax是一种在无需重新加载整个网页的情况下，更新部分网页的技术。 通过在后台与服务器进行少量数据交换，Ajax 可以使网页实现异步更新。传统的网页（不使用 Ajax）如果需要更新内容，必须重新加载整个网页页面。   二、如何判断网页是否使用了Ajax技术？   Ajax网页有2个明显特征：…

采集场景 今日头条上有很多头条号，实例网址：https://www.toutiao.com/c/user/52255723016/#mid=52255723016，是头条号【北青网】的主页。主页上展示其发布的文章列表。点击文章标题链接，可进入文章详情页，查看文章正文（文字+图片）。   采集字段 文章标题、文章链接、发布时间、阅读数、评论数等字段。     鼠标放到图片上，右键，选择【在新标签页中打开图片】可查看高清大图 下文其他图片同理    采集结果 采集结果可导出为Excel，CSV，HTML，数据库等多种格…

采集场景 采集某个微博博主主页的博文数据，实例地址https://weibo.com/u/3261134763 https://weibo.com/2656274875?refer_flag=1001030103_         采集字段 粉丝数、关注数、全部微博数、发布时间、博文内容、分享数、评论数、点赞数   采集结果 采集结果可导出为Excel、CSV、HTML、数据库等多种格式。   教程说明 本篇更新时间：2023/03/28 八爪鱼版本：V8.6 如因网页改版导致网址或步骤无效，无法收集到目标数据，请…

采集场景 京东商品详情页中的评价，有多个分类：【全部评价】、【晒图】、【视频晒单】、【追评】、【好评】、【中评】、【差评】。其中【全部评价】默认展现，其他需点击后展现。本文以按【差评】筛选采集为例讲解。实例网址：https://item.jd.com/100005185609.html；https://item.jd.com/100006607505.html；https://item.jd.com/100004770263.html。   采集字段 用户名、评价正文、颜色、内存、评论时间、店铺名称、星级。    …

一、功能简介 八爪鱼新上线触发器功能，通过对「提取数据」步骤中的字段，设置【某字段 → 满足/不满足某条件 → 就执行某操作】，以限制采集范围，提高采集效率。   二、适用版本 V8.4.0以上版本   三、功能具体说明   每一个「提取数据」步骤，都可设置触发器。 点击【提取数据】步骤，在下方设置页面，点击[高级设置]点击「新增触发器」，可进入到触发器编辑界面，设置触发器名称和条件。     1、设置触发器名称     2、设置触发器条件 1）字段 如图位置，将展示本「提取数据」步骤中的所有字段，可选择要设置条件…

通过八爪鱼云采集，可以实现多个任务并发采集，极大提高采集效率。 云采集原理是什么？什么样的规则可实现云加速？本文将详细讲解。   一、云采集原理 云采集是指，使用由八爪鱼提供的云服务集群进行数据采集。八爪鱼拥有5000+云服务器，7*24小时不间断运行（一台云服务器可看做一个云节点）。   八爪鱼的采集任务运行在云节点上时： a. 在满足可拆分的情况下，1个任务最多拆成100个子任务。（3类任务可拆分，下文将详细讲解） b. 1个任务/子任务需占用一个云节点进行采集。也就是说，1个云节点同时只能运行一个任务/子任务…

有很多网站，通过点击【加载更多】或【再显示20条】等按钮进行翻页。像 搜狗微信首页 、微博评论 等页面都是这种情况。   针对这种网页，八爪鱼V8.4.0版本新增【边点击边采集】功能，可以边点击【加载更多按钮】，加载出新数据，边采集每次加载的新数据。   例：设置点击20次，则点击1次后，采集第1次点击后加载的数据，继续点击第2次，采集第2次点击后加载的数据.......直至点击20次，采集第20次点击后加载的数据。   使用智能识别和自行配置的采集规则，都能实现【边点击边采集】，具体设置方法如下。   一、使用智…

采集场景 进入中国银行保险监督管理委员会【新闻资讯】版块下的【监管动态】栏目 http://www.cbirc.gov.cn/cn/view/pages/ItemList.html?itemPId=914&itemId=915&itemUrl=ItemListRightList.html&itemName=%E7%9B%91%E7%AE%A1%E5%8A%A8%E6%80%81  ，进入每条监管动态详情，采集其详情页信息。   采集字段 当前位置、标题、标题链接、发布时间、来源、正文、当前采…

采集场景 在百度地图首页（https://map.baidu.com）输入【城市+关键词】搜索，采集搜索结果列表页。示例中关键词为【深圳 火锅】，可根据需求进行更换，同时支持自动批量输入多个关键词。   采集字段 搜索关键词、商家名称、人均、地址等。     鼠标放到图片上，右键，选择【在新标签页中打开图片】可查看高清大图 下文其他图片同理   采集结果 采集结果可导出为Excel，CSV，HTML，数据库等多种格式。导出为Excel示例：     教程说明 本篇制作时间：2022/6/16    八爪鱼版本：V8…

在 客户端界面介绍 里，我们简单讲了数据采集的2种模式：【使用模板采集数据】和【自定义配置采集数据】。【使用模板采集数据】之前已经讲过，点击学习   【自定义配置采集数据】稍微复杂一点，我们将用1个系列的8节课来学习。在这8节课中，我们将介绍使用八爪鱼自行配置采集流程，进行网页数据采集的基础知识。学完这8节课，能够轻松采集到90%的网页数据。   第1课：自定义配置采集数据基本介绍（含智能识别） 本课 第2课：采集单个数据 第3课：采集列表数据 第4课：采集表格数据 第5课：需依次点击多个链接进入详情，采集每个详情…