八爪鱼是基于网址进行数据采集的。支持从本地文件导入网址、根据规律批量生成网址、从已有任务导入网址 一、从本地文件导入网址 新建【自定义任务】，选择从【文件导入】，再选择已有的网址文件，就可以大批量导入。导入之后，可以预览前100条网址。 再点击【保存设置】，即可开始任务配置。 注意： ① 支持csv、xls、xlsx、txt文件格式批量导入网址 ② 支持100w以内网址 ，超过的自动删除 二、批量生成网址 网址中一般有很多参数，根据网址参数的变化规律，可批量生成网址。 1、网址参数中出现数字变化…
有时候，我们有大量同类网页，希望八爪鱼能自动采集每个网页中的数据。通过设置【URL循环】，可实现此需求。 什么是同类网页？结构相同、字段差不多的网页。例： 京东商品详情页： https://item.jd.com/1138288.html https://item.jd.com/27305099378.html https://item.jd.com/46339353993.html 豆瓣电影详情页： https://movie.douban.com/subject/26387939/ https://…
有很多网站，需要输入关键词查询，然后采集查询后得到的结果数据。 例如：在京东首页搜索框中输入商品名称搜索，采集搜索后得到的商品信息；在新闻网站的搜索框中，输入热门关键词，采集搜索后得到的最新资讯。 在八爪鱼中该如何操作呢？来看一下具体的操作步骤。 一、输入1个关键词查询 示例网址：https://www.jd.com 采集需求：在京东首页，输入关键词【手机】，采集出现的手机商品数据。 Step1. 输入网址打开网页。选中网页中的文本输入框，在提示框中选择【输入文字】，输入关键词【手机】，按【确定…
后羿采集器支持批量生成网址功能，即通过设置一定的规则，自动生成您需要的网址，智能模式和流程图模式的具体设置位置相同，在新建采集任务界面中，如下图所示： 批量生成网址一般用于多网址采集的场景，这里又可以分为两种情况： 第一种：当网页中没有翻页按钮时，这种情况下无法通过点击翻页按钮进行循环翻页采集，这种网站各个分页的网址一般都只有部分参数（例如页面编号）不同，因此可以通过使用批量生成网址功能来一次性生成所有的分页网址，然后按照多网址进行采集。 第二种：当你需要采集多个网址，但是这些网址是符合一定的规则的，那么就可以通过…
用户在采集数据时，有时候需要启动很多任务进行采集，这时候如果要一个个启动任务就会花费比较多的时间。为了给用户更好的体验，我们开发出了组批量启动功能，大家只要选中组就可以批量启动任务了。 大家可以把需要采集的任务放在一个分组中，然后展开分组，点击顺序启动组内任务，如下图所示： 注意，需要把组展开才能够批量启动组内任务，未打开分组使用此功能会出现如下报错： 按组批量启动任务后，会跳转到启动页面，此时在启动页面进行的所有设置会应用给组内的每一个任务。 点此了解更多关于采集任务设置的内容。 注意一点，如果在此时勾选加速引擎…
本文主要为大家介绍使用后羿采集器的流程图模式，采集网站上多关键词的数据。 步骤一：新建采集任务 1、复制官网的网页地址（需要搜索结果页的网址，而不是首页的网址） 更多详情内容，请参考以下教程： 如何正确地输入网址。
在采集任务的设置中，经常能遇到网页没有翻页按钮或者网站有严格的防采集限制，不能用点击下一页按钮的形式进行翻页的情况。这个时候我们就可以使用后羿采集器的流程图模式，利用批量输入页码的方式翻页。 步骤一：新建采集任务 1、复制目标网站的网址 【温馨提示】需要搜索结果页的网址，而不是首页的网址。 点此了解关于如何正确地输入网址。 2、新建流程图模式采集任务 您可以在软件上直接新建采集任务。 点此了解如何导入和导出采集任务。 步骤二：配置采集任务 1、设置批量输入页码的循环组件 在流程图模式输入网址新建任务之后，我们点击页…
本文主要为大家介绍使用后羿采集器的流程图模式，通过输入组合文本的形式采集数据。 【温馨提示】该功能的使用需要企业标准版套餐，套餐详情请参考官网价格页面的套餐介绍。 步骤一：新建采集任务 1、复制网页地址，本次以帮助中心的链接为例。 更多详情内容，请参考以下教程： 如何正确地输入网址。 2、新建流程图模式采集任务 您可以在软件上新建采集任务，也可以直接导入已经创建好的任务。 更多详情内容，请参考以下教程： 如何导入和导出采集规则。 步骤二：配置采集任务 1、设置输入组合文本任务 在流程图模式输入网址新建任务之后，我们…
区间变化的变化原理为：地址中的两个参数以固定的间隔进行增长，并且相邻两组值的结束值与起始值间隔为1，以这种形式变化增长的地址格式可以使用区间变化来处理。 比如以https://www.powerchina.cn/col/col7440/index.html?uid=46098&pageNum=1，网址为例，我们使用fiddler抓包网址变化如下： 第一页：https://www.powerchina.cn/module/web/jpage/dataproxy.jsp?startrecord=1…
