在数据采集过程中,有时候我们会遇到采集到详情页时需要点击某一按钮之后才能获得数据的情况,下面我们给大家介绍一下如何采集这一类的数据。 第一步:采集列表页内容 更多详情内容,请参考以下教程: 如何采集列表类型的网页 第二步:使用深入采集进入详情页 完成列表页数据采集后,如果想要采集详情页上的数据,可以点击深入采集按钮或者点击列表识别结果中任意一个标题,然后在左侧操作栏内点击“依次点击全部元素”按钮,跳转到详情页进行采集。 更多详情内容,请参考以下教程: 如何实现深入采集 第三步:提取详情页数据 跳转到详情页之后,点击…

2023年9月5日 0条评论 47点热度 0人点赞 365crawadmin 阅读全文

智能模式不支持在页面中直接点击等操作,如果需要进行在页面进行点击操作,请使用预执行操作功能。 具体操作步骤如下: 1、点击预执行操作按钮 2、根据操作提示或者拖动组件预执行操作 预执行操作窗口其实是一个简化版的流程图模式,在这个窗口中可以按照流程图的方式进行页面操作。 更多详情内容,请参考以下教程: 流程图模式教程

2023年9月5日 0条评论 24点热度 0人点赞 365crawadmin 阅读全文

本文主要为大家介绍使用后羿采集器的流程图模式,通过输入组合文本的形式采集数据。 【温馨提示】该功能的使用需要企业标准版套餐,套餐详情请参考官网价格页面的套餐介绍。 步骤一:新建采集任务 1、复制网页地址,本次以帮助中心的链接为例。 更多详情内容,请参考以下教程: 如何正确地输入网址。 2、新建流程图模式采集任务 您可以在软件上新建采集任务,也可以直接导入已经创建好的任务。 更多详情内容,请参考以下教程: 如何导入和导出采集规则。 步骤二:配置采集任务 1、设置输入组合文本任务 在流程图模式输入网址新建任务之后,我们…

2023年9月5日 0条评论 73点热度 0人点赞 365crawadmin 阅读全文

本教程为大家讲解【判断条件】的使用场景与设置方法。   一、【判断条件】常见使用场景    1、判断某一条件(如关键词)是否存在,存在就采集,不存在则不采。 例:采集京东商品信息,只想采集自营商品。可以通过【判断条件】判断是否为自营商品,是则采集,不是则不采。 2、要采集的数据有多种情况,网页源码存在多种样式,需分开收集。 例:网页正文有的是图片有的文字,两者的数据提取方法不同。可以通过【判断条件】判断是图片还是文字,是图片走图片采集分支,是文字则走文字采集分支。   3、判断页面是否出现验证码,出现则自动识别,未…

2023年9月5日 0条评论 42点热度 0人点赞 365crawadmin 阅读全文

一、云采集是什么?   云采集是指,使用由八爪鱼提供的云服务进行数据采集。八爪拥有5000+云服务器,7*24小时运行云采集服务。 我们在本地电脑上将任务配置完成,测试没有问题以后,就可以选择启动八爪鱼的云采集。 注意,团队版以上用户自带云采集功能。什么是团队版?点击查看 版本套餐 。   二、云采集优势   与【本地采集】对比,【云采集】具有以下优势: 1、采集速度更快。 2、实现无人值守。可关闭电脑、软件进行数据采集,真正实现无人值守。 3、定时采集。云服务器是7*24小时,可设置任务的定时启动工作。 4、数据…

2023年9月5日 0条评论 52点热度 0人点赞 365crawadmin 阅读全文

有的网页无下一页按钮,通过点击数字进行翻页,示例网址如:http://stock.cngold.org/news/ 使用智能识别和自行配置的采集规则,都能实现点击数字进行翻页,具体设置方法如下:     1、使用智能识别实现【数字翻页】 八爪鱼的智能识别,支持【数字翻页】的智能识别,如下图所示:     2、自己配置采集流程实现【数字翻页】 如果想了解背后的原理,我们可以来尝试自己配置这类网页的采集流程。   让八爪鱼不断点击数字进行翻页:当前页是第1页,点第2页;当前页是第2页,点第3页.......当前页是最后…

2023年9月5日 0条评论 21点热度 0人点赞 365crawadmin 阅读全文

采集场景 在AliExpress(速卖通) 网站上进入商品详情页,采集商品的评论信息。 示例网址: http://www.aliexpress.com/item/4000093476853.html https://es.aliexpress.com/item/1005003334666560.html 采集字段 商品id、标题、价格、评论数、评分、五星率、四星率、三星率、两星率、一星率、评论者、国籍、商品属性、评论内容、评论时间   点击查看高清大图,下文其他图片同理     采集结果 采集结果可导出为Excel…

2023年9月5日 0条评论 44点热度 0人点赞 365crawadmin 阅读全文

有的网页内存在一个或多个下拉框,需要先点击下拉框中的选项,然后再采集数据。     针对这种网页,在八爪鱼中如何处理呢?我们来看一下。   一、在一个下拉框中点击选项 示例网址:http://deal.ggzy.gov.cn/ds/deal/dealList.jsp   步骤一:输入网址 在八爪鱼首页中输入网址,自动打开网页     步骤二:建立【循环-切换下拉选项】 在这里,我们想点击【省份】下拉框中的选项进行筛选。 选中【省份】下拉框,在弹出的操作提示框中,选择【循环切换下拉列表选项】。 进入【循环列表】的设置…

2023年9月5日 0条评论 37点热度 0人点赞 365crawadmin 阅读全文

采集场景 在豆瓣读书短评页面 https://book.douban.com/subject/4011670/comments/ , 采集图书评论信息。   采集字段 作品名、有用数、评论时间、评论内容、星级、当前时间、页面网址     鼠标放到图片上,右键,选择【在新标签页中打开图片】可查看高清大图 下文其他图片同理     采集结果 采集结果可导出为Excel、CSV、HTML、数据库等多种格式。导出为Excel示例:      教程说明 本篇制作时间:2022/5/27    八爪鱼版本:V8.5.4 如果因…

2023年9月5日 0条评论 39点热度 0人点赞 365crawadmin 阅读全文

采集场景 在微博主页(https://weibo.com/)登录后,循环打开微博博文链接,采集博文链接的一级评论数据。实例地址:https://weibo.com/1977661791/I7PgktlCh 。     采集字段 博主用户名、发布时间、博文内容、转发数、评论数、点赞数、评论人、评论内容、评论时间。   采集结果 采集结果可导出为Excel、CSV、HTML、数据库等多种格式。       教程说明 本篇更新时间:2023/04/20 八爪鱼版本:V8.6.0 如因网页改版导致网址或步骤无效,无法收集到…

2023年9月5日 0条评论 84点热度 0人点赞 365crawadmin 阅读全文
1242526272854