问题: 后羿采集器能采集国外网站的数据吗? 回答: 后羿采集器的原理和复制粘贴类似,理论上来说只要是网页上或者是源代码里有的数据都能够采集。 只要您的目标网站能够在软件里打开,理论上就是能够采集的。 【温馨提示】软件本身没有翻墙功能,如果海外网站是需要翻墙才能访问的,还请自行翻墙。后羿采集器官方无法提供任何关于如何翻墙的帮助,还请理解,实在抱歉。

2023年9月5日 0条评论 59点热度 0人点赞 365crawadmin 阅读全文

软件的数据迁移是指软件升级到4.x版本后,当前软件设置及任务已采集到的数据将会丢失,所以我们需要对数据进行备份迁移。    

2023年9月5日 0条评论 35点热度 0人点赞 365crawadmin 阅读全文

在数据采集过程中,我们可能有这样的需求:第一次采集所有数据,后续再采集的时候只需要采集网页上新增的数据。 自动采集新增数据的需求,可以通过八爪鱼的定时云采集配合多种策略实现,以下将结合实例详细讲解。 注意:定时云采集是八爪鱼采集器团队版及以上版本才具有的功能(旧套餐旗舰版及以上版本),详情请看 版本介绍 。   实例网址:http://www.gdgpo.gov.cn/queryMoreInfoList/channelCode/0008.html 采集需求:定时采集广东省政府采购网列表中新增的公告标题、标题链接和发…

2023年9月5日 0条评论 32点热度 0人点赞 365crawadmin 阅读全文

一、什么是【边滚动边采集数据】   有很多网站,需要向下滚动页面,才能加载出新数据,像 今日头条首页、百度图片搜索、新浪微博首页 等页面都是这种情况。 在采集这类网页数据时,相对应的在八爪鱼中也需设置【页面滚动】。   八爪鱼V8.2.0之前的版本,需按照设置的滚动次数,将页面全部滚动完成之后,才会开始采集数据。 例:设置滚动20次,则需等页面滚动20次后,一次性采集前20次滚动后加载的全部数据。 详情请看教程:滚动加载数据采集方法   V8.2.0版本新增【边滚动边采集数据】功能,可以边滚动页面边采集数据。 例:…

2023年9月5日 0条评论 32点热度 0人点赞 365crawadmin 阅读全文

问题: 需要翻墙的外网采集,翻墙后仍无法采集数据怎么办? 设置的时候是能看到数据,但是开始采集之后就采集不到,打开查网页界面显示的无法打开相应的网站。 回答: 建议是下载后羿采集器3.5.4版本进行测试。Windows电脑下载链接 提取码: ntgaMac电脑下载链接 提取码: uibx

2023年9月5日 0条评论 17点热度 0人点赞 365crawadmin 阅读全文

在数据采集的时候,经常会需要倒序采集(从最后一页开始往前采集数据)的情况。本文将简单说明如何使用后羿采集器的智能模式进行网页数据的倒序采集。 情况一:列表页翻页后,链接改变,存在最后一页链接 处理方式一:将列表页最后一页链接作为采集链接 当我们能够直接拿到网站列表页最后一页的链接时,可以通过直接复制链接的形式,用最后一页的链接来创建采集任务。 1. 在浏览器里点击到最后一页,复制最后一页的链接。

2023年9月5日 0条评论 56点热度 0人点赞 365crawadmin 阅读全文

八爪鱼提供两套API接口,均可以获取通过八爪鱼采集到的数据,实现秒级导出; 获取任务信息,无需启动八爪鱼客户端即可控制任务启停;无缝对接企业的内部系统。 第一套接口今后将不再更新,为提升您今后的使用体验,推荐您使用第二套API接口。   第一套API接口 :   于2018年4月上线,分为 数据导出API 主域名:https://dataapi.bazhuayu.com/  和 任务控制API  主域名:https://advancedapi.bazhuayu.com/     第二套API接口 : 于2021年1…

2023年9月5日 0条评论 46点热度 0人点赞 365crawadmin 阅读全文

 经过前几课的学习,我们已经掌握了列表数据、表格数据、点击多个链接后的详情页数据、实现翻页 的任务配置方法。   任务配置完成后,即可启动采集任务,全自动的采集数据。配置好的任务可【启动本地采集】运行在本地电脑中,也可【启动云采集】运行在由八爪鱼提供的云服务器上。本地采集和云采集完成后得到的数据,可以Ecxel、CSV、HTML、数据库(SqlServer、MySql)、API等多种形式导出。     一、【启动本地采集】和【启动云采集】   1、【启动本地采集】   【启动本地采集】即用自己的本地电脑进行数据采集…

2023年9月5日 0条评论 26点热度 0人点赞 365crawadmin 阅读全文

问题: 采集不出数据 / 数据空白 / 某些字段漏采怎么办? 回答: 1. 确认不同网页该数据是否出现在同一位置,有没有可能是识别的位置不一样导致数据漏采。这种情况找数据最多的网页进行任务编辑,多添加几个字段。 2. 可能是网页加载不完全导致的。参考以下操作: 点击开始采集后会弹出任务配置界面,找到智能策略。往下滚动鼠标有一个手动切换,里边设置等待时间(等待时间长短根据实际情况设置,网站打开越慢时间越长,推荐5s以上),然后勾选逐行滚动预加载(滚动距离默认0就行)。

2023年9月5日 0条评论 59点热度 0人点赞 365crawadmin 阅读全文

在数据采集的时候,经常会需要倒序采集(从最后一页开始往前采集数据)的情况。本文将简单说明如何使用后羿采集器的流程图模式进行网页数据的倒序采集。 情况一:列表页翻页后,链接改变,存在最后一页链接 处理方式一:将列表页最后一页链接作为采集链接 当我们能够直接拿到网站最后一页的链接时,可以通过直接复制链接的形式,用最后一页的链接来创建采集任务。 1. 在浏览器里点击到最后一页,复制最后一页的链接。 2. 创建一个流程图模式采集任务。 3. 流程图模式识别到列表后软件会提示是否需要识别下一页按钮,根据操作提示,手动点选识别…

2023年9月5日 0条评论 38点热度 0人点赞 365crawadmin 阅读全文
1678910