一、云采集是什么?   云采集是指,使用由八爪鱼提供的云服务进行数据采集。八爪拥有5000+云服务器,7*24小时运行云采集服务。 我们在本地电脑上将任务配置完成,测试没有问题以后,就可以选择启动八爪鱼的云采集。 注意,团队版以上用户自带云采集功能。什么是团队版?点击查看 版本套餐 。   二、云采集优势   与【本地采集】对比,【云采集】具有以下优势: 1、采集速度更快。 2、实现无人值守。可关闭电脑、软件进行数据采集,真正实现无人值守。 3、定时采集。云服务器是7*24小时,可设置任务的定时启动工作。 4、数据…

2023年9月5日 0条评论 51点热度 0人点赞 365crawadmin 阅读全文

有很多网站,通过点击【加载更多】或【再显示20条】等按钮进行翻页。像 搜狗微信首页 、微博评论 等页面都是这种情况。   针对这种网页,八爪鱼V8.4.0版本新增【边点击边采集】功能,可以边点击【加载更多按钮】,加载出新数据,边采集每次加载的新数据。   例:设置点击20次,则点击1次后,采集第1次点击后加载的数据,继续点击第2次,采集第2次点击后加载的数据.......直至点击20次,采集第20次点击后加载的数据。   使用智能识别和自行配置的采集规则,都能实现【边点击边采集】,具体设置方法如下。   一、使用智…

2023年9月5日 0条评论 33点热度 0人点赞 365crawadmin 阅读全文

有很多网站,需要向下滚动页面,才能加载出新数据。那相对应的,在八爪鱼中也需设置【页面滚动】。 适用场景:将滚动条直接下来到网页底部,出现类似【加载中】字样,稍后马上有新数据出现,且滚动条变短回弹。 常见的网页:澎湃新闻首页、今日头条首页、百度图片搜索、新浪微博首页,都是这种情况。     鼠标放到图片上,右键,选择【在新标签页中打开图片】可查看高清大图 下文其他图片同理   以澎湃新闻首页为例。https://www.thepaper.cn/,我们需采集新闻列表数据。就需要在打开网页后不断向下滚动,加载新数据。  …

2023年9月5日 0条评论 42点热度 0人点赞 365crawadmin 阅读全文

一、什么是【边滚动边采集数据】   有很多网站,需要向下滚动页面,才能加载出新数据,像 今日头条首页、百度图片搜索、新浪微博首页 等页面都是这种情况。 在采集这类网页数据时,相对应的在八爪鱼中也需设置【页面滚动】。   八爪鱼V8.2.0之前的版本,需按照设置的滚动次数,将页面全部滚动完成之后,才会开始采集数据。 例:设置滚动20次,则需等页面滚动20次后,一次性采集前20次滚动后加载的全部数据。 详情请看教程:滚动加载数据采集方法   V8.2.0版本新增【边滚动边采集数据】功能,可以边滚动页面边采集数据。 例:…

2023年9月5日 0条评论 31点热度 0人点赞 365crawadmin 阅读全文

很多网页使用了Ajax 技术,针对这种网页,我们需在八爪鱼中进行Ajax设置。   一、什么是Ajax?   Ajax (Asynchronous JavaScript and XML) :异步JavaScript 和XML。 Ajax是一种在无需重新加载整个网页的情况下,更新部分网页的技术。 通过在后台与服务器进行少量数据交换,Ajax 可以使网页实现异步更新。传统的网页(不使用 Ajax)如果需要更新内容,必须重新加载整个网页页面。   二、如何判断网页是否使用了Ajax技术?   Ajax网页有2个明显特征:…

2023年9月5日 0条评论 37点热度 0人点赞 365crawadmin 阅读全文

在正式开始数据采集之前,请根据自身系统,下载安装合适的八爪鱼客户端。 本文讲解Mac客户端安装方法与常见问题汇总。如安装过程遇到【无法打开】等情况,请参考文章下方的常见问题。  清除缓存 一、从未安装过八爪鱼Mac客户端,按以下流程操作安装即可:   1、系统要求   macOS 10.14 (Yosemite) 及更高版本(64位)。如您的系统低于10.14,请更新系统,或联系客服安装8.1.24版客户端。   特别说明: a. 如何查看自己电脑是什么系统?点击  ,选择【关于本机】,即可查看。

2023年9月5日 0条评论 35点热度 0人点赞 365crawadmin 阅读全文

在正式开始数据采集之前,请根据自身系统,下载安装合适的八爪鱼客户端。 本文讲解Windows客户端安装方法与常见问题汇总。   一、下载安装八爪鱼Windows客户端(8版本)   1、系统要求   Win7/Win8/Win8.1/Win10(x64位) XP系统和32位系统,请下载安装7版本   特别说明: a. 如何查看自己电脑是什么系统?找到【此电脑】,右键,选择【属性】即可查看。

2023年9月5日 0条评论 34点热度 0人点赞 365crawadmin 阅读全文

  此功能是针对用户需求为:采集内容包含某个字符即将该字段的所有内容都替换为某个固定的内容。   使用场景例如:我们从对方网站采集城市名称,然后城市名称示例:浙江省杭州市,我们需要将这个内容替换为杭州,这时就可以使用自动分类功能。  下面以百度为例介绍下用法: 如上图,我们想要将包含百度的标题 内容更替换为 常用搜索网站,则写成如下格式: 运行结果为: 如上就是自动分类的使用方法。 其中需要注意的是:1.一行一个分类,可以写多个分类。若是一个关键词符合多个分类,则优先替换上面的分类,按…

2023年9月4日 0条评论 53点热度 1人点赞 365crawadmin 阅读全文

出现这种问题一般是由于系统的原因,下面介绍针对这种情况的解决方法: 一.由于IE未启动服务,以及.net版本不支持,下面介绍具体设置方法: (1)如下图配置IE。 (2)安装.net4.0 ,安装完成后重启电脑,然后再测试下网站是否能够采集

2023年9月4日 0条评论 37点热度 0人点赞 365crawadmin 阅读全文

本次教程使用模拟器示例为夜神模拟器,下面具体介绍下设置方法: (1)下载夜神模拟器,然后按照提示安装。下载地址:https://www.yeshen.com/ (2)安装fiddler,安装后,打开fiddler查看fiddler端口号: (3)快捷键win+R。然后搜索cmd,打开后,输入ipconfig,查看本机IPV4的地址: (4)在模拟器中根据端口号以及IPV4地址设置代理: 设置→点击WLAN→鼠标点击wifi位置,长按左键,会出现一个修改网络的弹窗→高级选项,代理选择手动→填入IPV4地址以及fidd…

2023年9月4日 0条评论 131点热度 0人点赞 365crawadmin 阅读全文