数据去重功能是指在任务采集过程中，将当前采集到的数据和该任务中已保存的所有数据进行对比，如果数据重复，则按照设置条件进行处理。 在编辑任务界面，点击右下角“开始采集”按钮，在弹出的设置框中，点击“数据去重”选项可以切换到数据去重设置界面。 1、去重条件 1）所有字段都重复 勾选“所有字段都重复”这个去重条件，意味着两行数据必须完全相同，软件才会执行去重。只要两行数据中有任意一个字段不相同，该数据都不会被判定为重复数据。 需要注意的是，很多网页内容中存在时间或阅读数这一类会变化的内容，包含此类内容时，数据往往看上去大…
配置好了八爪鱼采集规则后，我们可以对规则进行一些优化，以更稳定地采集更完整的数据。 优化方向主要有以下四种： 一、设置执行前等待 二、设置/调整Ajax超时 三、设置页面滚动 四、检查新标签的勾选是否正确 一、设置执行前等待 执行前等待的意思是：在当前步骤等待一段时间，再执行下一个步骤。 1、为什么要设置执行前等待？ 原因①：避免执行步骤速度太快，很多时候网页还没加载完全就提取数据了，导致采集不到目标数据。 原因②：对于一些防采集严重的网站，如淘宝、大众点评等，适当的设置执行前等待，放慢采集速度，可…
问题： 后羿采集器能采集手机APP里面的数据吗？ 回答： 后羿采集器是一款采集网页的采集软件，是基于网页网址去进行规则配置和数据采集的。 如果数据有网址，可以在电脑的浏览器里面打开，一般就可以采集。 如果数据只能在APP里面查看，没有网址，那就无法通过后羿采集器直接采集。
本文主要为大家介绍使用后羿采集器的流程图模式，采集网站上多关键词的数据。 步骤一：新建采集任务 1、复制官网的网页地址（需要搜索结果页的网址，而不是首页的网址） 更多详情内容，请参考以下教程： 如何正确地输入网址。
对于会更新数据的网站，如果可以通过一个字段判断该网页数据是否更新，则可以编写存储过程来实现，数据库中已有数据的更新，然后新增数据直接插入数据库的功能： 存储过程语句如下： CREATE DEFINER=`root`@`%` PROCEDURE `yhaves`(IN `gaame` VARCHAR(50), IN `plorm` VARCHAR(50), IN `serrea` VARCHAR(200)) LANGUAGE SQL …
Web发布中内容发布之前的版本一直是粘贴发布中抓包的数据，然后软件自动分析表单名与表单值，但是对于一些特殊要求的发布网站，这个功能就不大好用，因此，新版本添加了新的自定义发布数据的功能，可以更方便的处理一些复杂的网站。 下面介绍下自定义数据的功能： （1）对于使用json或者其他特殊格式作为post的网站，那么就可以直接使用自定义数据。 （2）对于一些表单项个数不确定的网站。 ①比如发布商品时，有添加发布图片，发布图片有几个那么就需要添加几个表单项，那么就必须要使用自定义数据，发布的图片在采集数据的标签中就定义好，…
数据提取方式支持调用其他标签值可以让采集过程更加灵活，在提取中点击标签符号即可调用其他标签的值。下面介绍下具体使用方法： 我们以网址：https://detail.tmall.com/item.htm?id=644685533017，为例，目的为提取sku对应的颜色名称，以一个颜色为示例： 目标网站获取数据部分源码： （1）先获取该颜色的sku值 （2）点击标签选择需要调用的标签即可 下面为运行结果： 注意：调用标签在前后截取以及正则提取中皆可使用，使用方法相同。
火车采集器数据获取新增支持CSS selector，很多网页的css 的属性唯一，此功能更利于批量从网页中提取数据。 如要系统性学习css提取的知识，可以先看下教程：https://www.w3school.com.cn/cssref/css_selectors.asp。 在火车采集器集成了css提取功能，直接将css路径填写在界面中即可使用。Selector中填写css路径，节点属性选择需要采集的属性。 比如： 注意：只有网页源码中有的元素，才能使用css获取，若是源码中没有而是浏览器渲染过后才展示的…
