遥感类网站数据采集

2023年9月5日 34点热度 0人点赞 0条评论

采集场景

空天院遥感数据服务系统页面 http://eds.ceode.ac.cn/nuds/freedataquery设置查询条件,采集查询展示的卫星数据。

 

 

 

 

 

 

采集字段

数据标识 、卫星和传感器、 成像时间 、链接等字段。

 

 

 

采集结果

采集结果可导出为Excel,CSV,HTML,数据库等多种格式。导出为Excel示例:

 

 

 

 

 

教程说明

本篇制作时间:2022/2/27    八爪鱼版本:V8.5.1.21611

 

采集步骤 

步骤一、打开网页

步骤二、设置筛选条件

步骤三、创建循环列表提取数据

步骤四、编辑字段 清洗数据

步骤五、启动采集 导出数据

 

以下为具体步骤:

 

步骤一、打开网页

 

在首页【输入框】中输入目标网址 http://eds.ceode.ac.cn/nuds/freedataquery ,点击【开始采集】,八爪鱼自动打开网页。

 

 

 

步骤二、设置筛选条件

 

该页面筛选条件过多,为方便操作,此处使用浏览模式进行筛选。

点击右上角切换为【浏览模式】,再设置【成像时间】和【卫星】,下拉页面点击【查询】按钮。

 

 

 

 

步骤三、创建循环列表提取数据

 

页面展示搜索结果后,再关掉【浏览模式】,进入流程编辑模式。

通过以下几步操作采集列表数据:

 

1、选中页面上一个单元格,再点击扩大选取按钮,选中一整行。

 

 

2、在提示框中选择【选中子元素】,来提取该行中所有字段。

 

 

3、接着选择【选中全部】,来选中页面上所有的列表,最后点击【采集数据】,生成采集流程。

 

 

 

 

步骤四、创建循环翻页,采集所有数据

 

1、选中页面上的【>】按钮,在提示框选择【循环点击单个链接】。

 

 

 

2、为使数据加载充分,为【循环翻页】和【循环列表】设置执行前等待时间10秒。

 

 

步骤四、编辑字段 清洗数据

 

在【当前页面数据预览】页面,可删除多余字段,修改字段名,移动字段顺序,格式化字段等。 

在【当前页面数据预览】页面,勾选多余字段,可批量删除。

 

 

 

②在【当前页面数据预览】页面,双击字段名称进行修改。

 

 

步骤五、启动采集 导出数据

 

 

 

点击【暂停】,设置筛选条件后,点击【搜索】,再点击【继续】,执行采集任务。

 

 

 

2、采集完成后,可以导出为多种格式,这里选择Excel格式。

 

 

 

3、等待导出完成,点击【打开文件】即可查看Excel文件。

 

 

Excel样例数据:

 

 

 

365crawadmin

这个人很懒,什么都没留下

文章评论

您需要 登录 之后才可以评论