不同于智能模式可以直接设置采集范围，流程图模式采集范围的设置比较复杂一些。 1、只设置结束页面，不设置开始页面的采集范围设置 这种设置比较简单，不管是有分页按钮的网页、瀑布流加载的网页还是瀑布流+分页加载的网页，都只需要选中翻页循环设置，然后在翻页次数那里设置自定义次数，用户想要在哪个页数停止，就选择填相应的页数。 1）分页按钮 2）瀑布流分页 3）瀑布流+分页按钮 2、设置开始采集页面，不设置结束页面的采集范围设置 1）网址会随着页码的变动而变动的网站 用户可以直接复制新的开始采集的网址，在页面上修改网址。 2）…

User-Agent 即用户代理，简称“UA”，它是一个特殊字符串头。网站服务器通过识别 “UA”来确定用户所使用的操作系统版本、CPU 类型、浏览器版本等信息。而网站服务器则通过判断 UA 来给客户端发送不同的页面。 由于网站会对UA进行过滤，有些老旧的UA会打不开该网页。此时就可以通过切换不同的UA来打开网页。以下教程讲解如何获取浏览器中的UA，以及将获得的UA保存在八爪鱼中。 方法一：以Chrome（谷歌）浏览器为例，在地址栏输入about:version，即可出现如下信息。图中的【用户代理】即【User-A…

如果用八爪鱼配置规则，采集数据出现异常，我们如何快速找出并解决问题？如何更好与客服沟通？ 本教程将讲解规则排错的基本思路与方法。   一、手动执行规则   做好采集规则以后，我们最好手动执行一下规则，检查规则是否满足采集需求。 手动执行规则是什么意思？打开流程图界面，按照从上至下，由内而外的逻辑（点击查看 流程执行逻辑教程），将每个步骤都点击一遍，并观察点击步骤后的页面情况。如果符合预期，没问题。如果不符合预期，则需要修改。   1、手动执行规则，符合预期   特别说明： a. 在点击【循环列表】时，最好选择除第1…

网页上的数据情况十分复杂。以京东商品列表页为例，每个列表项的字段个数并非完全一致。   如下图所示：第2、4、5个商品列表有【自营】字段，第1、3个是没有【自营】字段的。 在采集第1、3个商品列表时，找不到【自营】字段，本条数据如何处理？下文将具体说明。 示例网址：https://search.jd.com/Search?keyword=%E6%89%8B%E6%9C%BA&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&wq=%E6%89%8B%…

我们通过创建【循环列表】去采集多个列表或详情页的数据。创建【循环列表】的方式在 新手入门系列课程 中有详细讲过。     一般情况下，通过以上方法创建的【循环列表】不会出错，能够精准采集到全部数据。但有时候也会遇到一些问题：比如列表中有的部分不是我们想要的，需要进行丢弃。   这时候，可以手动修改XPath去定位列表丢弃不需要的部分。也可以用分支判断丢弃。     以下通过实例进行说明。   实例网址：https://weibo.com/2803301701?refer_flag=1001030103_     一…

采集场景 在维基百科网页面 https://zh.wikipedia.org/wiki循环输入多个关键词，采集搜索后展示的多个名词解释的详细数据。       采集字段 岛屿、位置、坐标、群岛、面积 、最高海拔、最高点、人口等字段。   采集结果 采集结果可导出为Excel，CSV，HTML，数据库等多种格式。导出为Excel示例：       教程说明 本篇制作时间：2022/2/28    八爪鱼版本：V8.5.1.21611   采集步骤  步骤一、打开网页 步骤二、批量输入多个关键词并搜索 步骤三、提取检索…

云采集日志主要有两个方面的应用：

采集场景 B站有非常多的分类（动画、音乐、舞蹈等），每个分类下都会很多热门标签。本教程采集热门分类下的视频列表数据。 标签示例网址： https://www.bilibili.com/v/douga/mad/?spm_id_from=333.5.b_7375626e6176.2#/4672 https://www.bilibili.com/v/music/cover/?spm_id_from=333.5.b_6d757369635f636f766572.23#/312357    采集字段 标签、视频时长、标题、视…

采集场景 在淘宝首页（https://s.taobao.com/）输入关键词搜索，采集搜索后得到的商品列表页数据。示例中关键词为【耐克】，可根据需求进行更换，同时支持自动批量输入多个关键词。   采集字段 采集字段包括关键字文本值，产品标题，店铺名称，产品价格，付款人数，商品链接，店铺名，品牌，发货地等。     鼠标放到图片上，右键，选择【在新标签页中打开图片】可查看高清大图 下文其他图片同理   采集结果 采集结果可导出为Excel，CSV，HTML，数据库等多种格式。导出为Excel示例：   教程说明 本篇…

后羿采集器，基于人工智能技术，无需编程，可视化操作，免费导出采集结果，只需输入网址就能自动识别采集内容的数据采集工具。 简介 Destoon是一个开源的网站内容管理系统（Content Management System，CMS），用于构建和管理网站。它提供了一套完整的功能和工具，使用户能够轻松创建、编辑和发布网站内容，包括文章、图片、视频、产品等。Destoon具有灵活的模板系统和插件机制，可以根据用户的需求进行定制和扩展。它支持多语言和多用户管理，适用于各种类型的网站，如企业网站、新闻门户、电子商务平台等。De…