问题： 采集到的数据重复怎么办？ 回答： 1. 请确认你已经看过视频教程，你的采集任务没有页面类型的设置问题，即错把单页类型设置为列表类型，或是你错误地理解了循环采集的使用方法。
智能模式是后羿采集器中最简单的模式，也是我们首推的模式，尤其适合新手用户，本教程主要给大家介绍如何创建智能模式任务。 1、创建智能模式任务的位置： 1）在采集器首页输入框：只能输入一个网址。 在此输入网址之后，软件会直接跳转到任务编辑界面，用户可在任务编辑界面继续操作。 2）在左侧工具栏新建智能模式任务 3）在首页输入框下的右侧开始采集按钮新建智能模式任务 从 2）和 3）的位置点击之后会进入智能模式任务创建的界面，用户可以在此进行更多的设置。 2、创建智能模式任务的设置 1）选择任务创建的分组 用户可以在这里选择…
流程图任务是由各种组件构成的，每种组件对应不同的操作，下面我们针对每个组件及其对应的设置参数进行详细的介绍。 1、打开网页 打开网页组件的作用是打开网页，流程图任务创建时会自动生成一个打开网页组件，该组件作为任务的第一个组件，不能被拖动或者删除。 在右侧的组件设置窗口中，点击右侧任务网址可以进行编辑，此处的编辑和编辑流程图任务网址是相同的操作。 当打开网页组件不处于任务起始位置时，设置如下图所示，选择自定义选项可以输入自定义的网址。 2、点击 点击组件的作用是点击页面中的元素，它的设置如下图所示： 通常该组件会在点…
如果大家在发布到数据库时遇到一些问题，请参考这个教程进行问题排查：发布到数据库常见问题 作为一款真免费的数据采集软件，我们免费提供多种导出方式，如果小伙伴们需要将采集到的数据发布到数据库MySQL，可以按照以下操作导出。 步骤一： 数据提取完毕后在导出数据界面选择导出到MySQL数据库选项。 步骤二： 选择本地数据库，可以创建新配置，也可以使用之前配置好的本地数据库。 创建新配置时，我们需要输入本地数据库地址、端口、用户名、密码。 如果地址或者密码什么的输入的不对，会出现Error的提示，此时需要检查是否正确输入地…
数据去重功能是指在任务采集过程中，将当前采集到的数据和该任务中已保存的所有数据进行对比，如果数据重复，则按照设置条件进行处理。 在编辑任务界面，点击右下角“开始采集”按钮，在弹出的设置框中，点击“数据去重”选项可以切换到数据去重设置界面。 1、去重条件 1）所有字段都重复 勾选“所有字段都重复”这个去重条件，意味着两行数据必须完全相同，软件才会执行去重。只要两行数据中有任意一个字段不相同，该数据都不会被判定为重复数据。 需要注意的是，很多网页内容中存在时间或阅读数这一类会变化的内容，包含此类内容时，数据往往看上去大…
在数据采集的时候，经常会需要倒序采集（从最后一页开始往前采集数据）的情况。本文将简单说明如何使用后羿采集器的智能模式进行网页数据的倒序采集。 情况一：列表页翻页后，链接改变，存在最后一页链接 处理方式一：将列表页最后一页链接作为采集链接 当我们能够直接拿到网站列表页最后一页的链接时，可以通过直接复制链接的形式，用最后一页的链接来创建采集任务。 1. 在浏览器里点击到最后一页，复制最后一页的链接。
采集场景 点击房天下网站的【二手房】分类，采集【二手房】分类下的房屋数据。 采集时可选择目标城市，本示例以深圳二手房为例：https://sz.esf.fang.com 。 采集字段 房源名称、房屋介绍、联系人、售价、所在小区、具体地址、单位价格等。 点击查看高清大图，下文其他图片同理 采集结果 采集结果可导出为Excel、CSV、HTML、数据库等多种格式。导出为Excel示例： 教程说明 本篇制作时间：2022/6/29 八爪鱼版本：V8.5.4 如果因网页改版造成网址或步骤无效，无…
