蜜蜂采集器使用教程 - 文件下载上传功能演示

2023年9月5日 39点热度 0人点赞 0条评论

本例演示的是文件下载、FTP文件上传等功能。

分析

打开某网站移动版的热搜榜单,网址为 https://m.---.cn/?vt=4&pos=108&sudaref=sina.cn 。通过浏览器的开发者工具,可以看到网络请求 https://m.---.cn/api/container/getIndex?containerid=102803&openApp=0 为榜单内容,json格式。

采集规则

新建一个采集规则,命名为“图片下载测试”。

“列表页”页面,添加“普通网址”,地址为 https://m.---.cn/api/container/getIndex?containerid=102803&openApp=0 。勾选“列表页网址即为内容页网址”。“实时输出”日志区,点击网址链接,弹出菜单中选择“测试内容采集”。

“内容采集”页面。“内容”标签,勾选“页内循环采集标签内容”,提取方法为JsonPath,提取规则为 ["data"]["cards"][*]["mblog"]["original_pic"] (通过“Json分析工具”获得)。勾选“文件与图片下载”,选择“将标签内容作为文件地址”。在“循环采集”设置页面,勾选“每个循环采集的结果以新记录保存”。这里,因为是Json方式获取的,所以采用循环采集的方式,将每个子项都采集为一个新纪录,然后下载中将标签内容作为文件地址,即可下载图片了。

“内容发布”页面。添加一个发布通道,仅仅为方便测试文件上传。

“高级设置”页面。勾选“文件下载”,取消勾选“小文件模式”,根据需要设置图片水印。勾选“文件上传”并设置文件上传选项。

“列表页”页面,如下图。

列表页

 

“内容采集”页面,如下图。

内容采集

 

“列表页”页面循环采集设置,如下图。

“列表页”页面循环采集设置

 

“高级设置”页面,如下图。

高级设置

 

测试

内容采集测试,如下图。

内容采集测试

 

内容采集测试之文件下载,如下图。

内容采集测试之文件下载

 

内容发布测试,如下图。

内容发布测试

 

内容发布测试之文件上传,如下图。

内容发布测试之文件上传

 

内容发布测试之文件上传,服务器端上传结果,如下图。

内容发布测试之文件上传,服务器端上传结果

365crawadmin

这个人很懒,什么都没留下

文章评论

您需要 登录 之后才可以评论