蜜蜂采集器2305版本的POST采集方法介绍

2023年9月5日 68点热度 0人点赞 0条评论

蜜蜂采集器的使用教程 - 2305版本的POST采集方法介绍

POST方法是一种HTTP请求方法,区别于GET方法。POST采集就是使用POST方法进行采集。

蜜蜂采集器自2305版本开始,支持POST参数分隔符方式的POST采集,同时废除了此前的2304版本中的域名指定POST采集的方法。

至此,软件支持网址翻页采集的POST方式采集和POST参数分隔符两种方式。其中,网址翻页采集的POST方式采集,可以查看软件帮助文档,功能仅限定在网址采集的翻页采集时。此处主要介绍POST参数分隔符方式的POST采集。

POST参数分隔符是对URL网址进行扩充实现的。即在URL网址结尾加上$$$post_begin$$$$$$post_end$$$,从而得到一个带POST参数的网址,该网址格式支持换行符,其中的POST参数支持JSON格式等复杂格式。

POST参数分隔符,支持POST请求的格式化网址示例:

POST参数分隔符

 

而采集时的列表页网址,以普通格式的网址为例,如果加入了POST参数分隔符,则POST参数可以包含换行符合,即单个网址可以换行。其他格式的网址,甚至内容页网址,都可以添加POST参数分隔符,从而转换为POST方式采集。POST方式采集的网址也都支持换行。

POST参数分隔符仅用于网址采集和内容采集,以及标签数据二次处理的HTTP请求,不使用于其他场景。即,无法用于站点发布,文件下载,文件上传等。

365crawadmin

这个人很懒,什么都没留下

文章评论

您需要 登录 之后才可以评论