通过前几课的学习,我们已经学会了 采集列表数据、采集表格数据。如果一个页面上很多同类链接,需要依次点击每个链接进入详情页,然后采集每个详情页中的数据呢? 以百度百家号为例。现在有一个百家号资讯列表的网页:https://www.baidu.com/s?tn=news&rtt=1&bsst=1&cl=2&wd=%E6%95%B0%E6%8D%AE%E9%87%87%E9%9B%86&medium=2 可以看到,网页上有很多资讯链接,点击每个资讯链接进入详情页,每个详情页都有…
通过前几课的学习,我们已经学会了 采集列表数据、采集表格数据。如果一个页面上很多同类链接,需要依次点击每个链接进入详情页,然后采集每个详情页中的数据呢? 以百度百家号为例。现在有一个百家号资讯列表的网页:https://www.baidu.com/s?tn=news&rtt=1&bsst=1&cl=2&wd=%E6%95%B0%E6%8D%AE%E9%87%87%E9%9B%86&medium=2 可以看到,网页上有很多资讯链接,点击每个资讯链接进入详情页,每个详情页都有…
采集场景 采集B站UP主主页的视频列表数据。 示例网址: https://space.bilibili.com/33775467 https://space.bilibili.com/2282611 https://space.bilibili.com/21975459 采集字段 发布者、关注数、粉丝数、认证、UID、标题、视频连接、总播放数、发布时间、时长、视频封面链接 点击查看高清大图,下文其他图片同理 采集结果 采集结果可导出为Excel、CSV、HTML、数据库等多种格式。导出为Excel示…
在 客户端界面介绍 里,我们简单讲了数据采集的2种模式:【使用模板采集数据】和【自定义配置采集数据】。 本文将详细讲解【自定义任务编辑界面介绍】,【自定义配置采集数据】可点击开始学习 。 一、自定义采集界面介绍 自定义任务界面是在自定义采集模式下出现的界面,该界面包含了不同的功能分区,自定义模式界面所下图示。 1)左上角红框为任务名,双击后可进行修改,修改完成后点击其他位置即可进行保存。 2)界面右上角为【切换浏览模式】、【设置】、【点击隐藏数据预览】、【点击隐藏流程图】、【保存】及【采集】按键。…
问题: 后羿采集器能采什么数据? 回答: 后羿采集器是一款通用的网页数据采集软件,通过内置浏览器访问网页并采集数据,满足以下2个条件的数据均可采集:①网页上公开显示的数据,包含通过账号密码登录后可以查看到的数据。②可以用鼠标复制粘贴下来的数据、网页上没显示但是网页HTML源码中有的数据。 【温馨提示】采集过程中请遵守Robots协议,请勿使用后羿采集器采集任何个人隐私数据,请勿非法使用采集到的数据。为了保护您的隐私,您所有的任务及配置都以加密形式存储于云端,除了您个人外任何人都无法查看具体的内容,您在采集过程中输入…
问题: 电商网站的评论采集不出来怎么办? 回答: 部分电商网站会针对评论页面的展开进行限制,需要在软件内添加组件进行跳转。 智能模式需要先在右上角绿色按钮“预执行操作”界面添加以下组件:定时等待+滚动(设置成滚动一屏次数一次)+滚动+定时等待+点击(选中跳转到评论的按钮)+定时等待
这个就更厉害了! 流程图模式是后羿采集器团队为了满足用户丰富的个性化数据采集需求而研发的操作模式。 流程图模式支持可视化的网页点选操作,完全符合人工浏览网页的思维方式,用户只需要打开被采集的网站,用鼠标点击几下就能自动生成复杂的数据采集规则。 流程图模式可以采集目前互联网上99%的网页数据。流程图模式不仅支持单个网址的采集和多个网址的批量采集,支持从本地文件批量导入网址,而且还支持参数网址批量生成。 点此进一步了解流程图模式的使用方法。