数据采集下来之后,有时候格式不是我们想要的,或者只想从一段数据里提取特定数据。以上需求,可通过八爪鱼的【格式化数据】功能实现。 本教程将结合实例,具体讲解。   一、【格式化数据】设置的位置   示例网址:https://book.douban.com/subject/4913064/   【格式化数据】是对提取到的字段进行格式化操作,我们先按照采集需求,提取字段。本示例中,我们提取此网页中的图书标题、图书简介和图片网址。   鼠标放到图片上,右键,选择【在新标签页中打开图片】可查看高清大图 下文其他图片同理   …

2023年9月5日 0条评论 44点热度 0人点赞 365crawadmin 阅读全文

采集场景 采集采集游天下不同城市的租房信息。   采集字段 城市、标题、出租人、地址、价格、标题链接、坐标等。     点击图片可查看高清大图,下文其他图片同理    采集结果 采集结果可导出为Excel,CSV,HTML,数据库等多种格式。导出为Excel示例:     教程说明 本篇制作时间:2022/06/20    八爪鱼版本:V8.5.2 目标数据,请联系官方客服,我们将及时修正。   采集步骤   步骤一、打开网页 步骤二、提取数据 步骤三、创建【循环列表】 步骤四、提取数据 步骤五、启动采集   以下…

2023年9月5日 0条评论 33点热度 0人点赞 365crawadmin 阅读全文

采集场景 在hotsom网站页面https://export.hotosm.org/en/v3/exports循环点击每个链接,采集详情页展示的详细数据。 列表页面:     详情页面:     采集字段 Description、Id、Project Area、Createdat、Createdby、published、ExportFormats、OSMAnalysis、Status、ID、Finished、Duration、ShapeFile、ShapeFileUrl、GeoPackage、GeoPackageU…

2023年9月5日 0条评论 68点热度 0人点赞 365crawadmin 阅读全文

通过前几课的学习,我们已经学会了 采集列表数据、采集表格数据。如果一个页面上很多同类链接,需要依次点击每个链接进入详情页,然后采集每个详情页中的数据呢?   以百度百家号为例。现在有一个百家号资讯列表的网页:https://www.baidu.com/s?tn=news&rtt=1&bsst=1&cl=2&wd=%E6%95%B0%E6%8D%AE%E9%87%87%E9%9B%86&medium=2 可以看到,网页上有很多资讯链接,点击每个资讯链接进入详情页,每个详情页都有…

2023年9月5日 0条评论 58点热度 0人点赞 365crawadmin 阅读全文

采集场景 采集B站UP主主页的视频列表数据。 示例网址: https://space.bilibili.com/33775467 https://space.bilibili.com/2282611 https://space.bilibili.com/21975459   采集字段 发布者、关注数、粉丝数、认证、UID、标题、视频连接、总播放数、发布时间、时长、视频封面链接   点击查看高清大图,下文其他图片同理     采集结果 采集结果可导出为Excel、CSV、HTML、数据库等多种格式。导出为Excel示…

2023年9月5日 0条评论 45点热度 0人点赞 365crawadmin 阅读全文

在 客户端界面介绍 里,我们简单讲了数据采集的2种模式:【使用模板采集数据】和【自定义配置采集数据】。 本文将详细讲解【自定义任务编辑界面介绍】,【自定义配置采集数据】可点击开始学习 。   一、自定义采集界面介绍 自定义任务界面是在自定义采集模式下出现的界面,该界面包含了不同的功能分区,自定义模式界面所下图示。   1)左上角红框为任务名,双击后可进行修改,修改完成后点击其他位置即可进行保存。      2)界面右上角为【切换浏览模式】、【设置】、【点击隐藏数据预览】、【点击隐藏流程图】、【保存】及【采集】按键。…

2023年9月5日 0条评论 64点热度 0人点赞 365crawadmin 阅读全文