后羿采集器的加速引擎功能可以对采集任务进行加速，加速效果和网页加载速度以及采集任务的设置有关，通常可以达到3~10倍的加速效果。 加速引擎的加速选项包括：智能请求、智能跳过详情页、多线程采集、禁用多媒体和HTTP引擎。 大家可以在启动任务时进行设置，软件会根据您的设置启动对应的加速功能。 如果您在开启任务时没有使用加速引擎，在任务运行界面中也可以通过点击加速按钮来开启加速功能。 关于加速引擎有以下几点需要注意： 1、加速引擎功能开启后无法取消 2、使用多线程采集功能后，采集结果和输入网址的顺序以及单个网页的内容显示…
如果需要设置采集范围，可以点击页面上的采集范围按钮直接设置采集范围。 1、设置起始页和结束页 起始页默认为当前页，结束页默认为最后一页。需要注意的是如果选择自定义设置，当前页为第一页。 2、设置跳过项 在采集中可以跳过每页前多少条或者后多少条。 3、设置停止采集 正常的采集任务会根据上述范围从开始页采集到结束页，此处的停止采集是在采集过程中满足设置条件时提前停止采集。停止采集条件设置和数据筛选条件的设置相同，请参考如何设置数据筛选。
在数据采集的时候，经常会需要倒序采集（从最后一页开始往前采集数据）的情况。本文将简单说明如何使用后羿采集器的智能模式进行网页数据的倒序采集。 情况一：列表页翻页后，链接改变，存在最后一页链接 处理方式一：将列表页最后一页链接作为采集链接 当我们能够直接拿到网站列表页最后一页的链接时，可以通过直接复制链接的形式，用最后一页的链接来创建采集任务。 1. 在浏览器里点击到最后一页，复制最后一页的链接。
在后羿采集器的智能模式下，我们通过以下几种方式来导出采集结果。 1、导出前台运行任务的采集结果 如果采集任务在前台运行，在任务结束后软件会弹出数据采集停止的提示框，此时我们点击“导出数据”按钮，即可导出采集数据结果。 2、导出后台运行任务的采集结果 如果采集任务在后台运行，在任务结束后，桌面右下角会弹出导出提示框，我们根据右下角任务完成的弹框提示打开查看数据界面，或者导出数据。 3、导出已经保存过的采集任务的采集结果 如果不是实时运行的采集任务，而是之前运行过的采集任务，例如我们关闭软件之后又重新打开软件，然导出一…
后羿采集器支持批量生成网址功能，即通过设置一定的规则，自动生成您需要的网址，智能模式和流程图模式的具体设置位置相同，在新建采集任务界面中，如下图所示： 批量生成网址一般用于多网址采集的场景，这里又可以分为两种情况： 第一种：当网页中没有翻页按钮时，这种情况下无法通过点击翻页按钮进行循环翻页采集，这种网站各个分页的网址一般都只有部分参数（例如页面编号）不同，因此可以通过使用批量生成网址功能来一次性生成所有的分页网址，然后按照多网址进行采集。 第二种：当你需要采集多个网址，但是这些网址是符合一定的规则的，那么就可以通过…
数据去重功能是指在任务采集过程中，将当前采集到的数据和该任务中已保存的所有数据进行对比，如果数据重复，则按照设置条件进行处理。 在编辑任务界面，点击右下角“开始采集”按钮，在弹出的设置框中，点击“数据去重”选项可以切换到数据去重设置界面。 1、去重条件 1）所有字段都重复 勾选“所有字段都重复”这个去重条件，意味着两行数据必须完全相同，软件才会执行去重。只要两行数据中有任意一个字段不相同，该数据都不会被判定为重复数据。 需要注意的是，很多网页内容中存在时间或阅读数这一类会变化的内容，包含此类内容时，数据往往看上去大…
在数据采集的时候，经常会需要倒序采集（从最后一页开始往前采集数据）的情况。本文将简单说明如何使用后羿采集器的流程图模式进行网页数据的倒序采集。 情况一：列表页翻页后，链接改变，存在最后一页链接 处理方式一：将列表页最后一页链接作为采集链接 当我们能够直接拿到网站最后一页的链接时，可以通过直接复制链接的形式，用最后一页的链接来创建采集任务。 1. 在浏览器里点击到最后一页，复制最后一页的链接。 2. 创建一个流程图模式采集任务。 3. 流程图模式识别到列表后软件会提示是否需要识别下一页按钮，根据操作提示，手动点选识别…
后羿采集器的定时采集功能是一个高级功能，用户通过使用该功能，可以给采集任务设置一个固定的启动和停止时间点，并且周期性地按照这个时间点进行数据采集。 点击右下角“开始采集”图标，可以进行定时采集功能的设置。 1、循环采集 循环采集适用于不间断采集任务的场景，是指任务采集结束之后按照设置的时间间隔开始下一次的任务采集，循环往复。用户可以设置任务间隔时间，甚至可以设置任务整体采集时长，软件配置了多种格式供用户选择，用户可以按照自己需求进行设置。 1）间隔时间 是指两次任务运行的间隔时间，用户可以选择软件设置好的间隔时间，…
在采集数据的过程中，我们经常会遇到需要输入验证码的情况，后羿采集器支持手动输入功能。 需要输入验证码的情况一般可以分为以下两种： 第一种，验证码出现在固定网页，例如注册/登录页面的验证码 第二种，验证码出现在不固定的网页，例如在采集过程中会跳出需要输入验证码的页面 这两种场景中，验证码的设置略有区别。 针对第一种场景，我们可以在一开始编辑采集规则时就进行设置； 针对第二种场景，我们需要先将采集规则运行起来，一直到网站弹出验证码提示了，此时我们停止采集，然后重新打开规则编辑界面进行验证码识别的设置。 本文主要介绍第一…
启动任务设置完毕之后，我们点击“启动”按钮。 然后会打开任务运行界面，在这个界面上我们可以查看网页、查看运行日志、查看采集结果、开启自动导出、开启加速、暂停任务或者停止任务。 1、查看网页 点击页面上的“查看网页”按钮，可以在新打开的窗口中查看当前正在采集的网页。 在这个界面中，我们点击右上角的保存按钮，可以把这个网页保存下来，一般用于需要保存当前网页来排查遇到的问题。 2、运行日志 点击“运行日志”可以查看当前任务的运行状态。 3、查看采集结果 点击“数据”可以预览当前任务的部分采集结果。 4、暂停 点击“暂停”…
