意大利米兰家具展览会参展商企业目录名称的采集,网址采集中的POST翻页采集方法,JSON数据解析方法,内容发布到Excel文件。  

2023年9月5日 0条评论 49点热度 0人点赞 365crawadmin 阅读全文

蜜蜂采集器的使用教程 - 2305版本的POST采集方法介绍 POST方法是一种HTTP请求方法,区别于GET方法。POST采集就是使用POST方法进行采集。 蜜蜂采集器自2305版本开始,支持POST参数分隔符方式的POST采集,同时废除了此前的2304版本中的域名指定POST采集的方法。 至此,软件支持网址翻页采集的POST方式采集和POST参数分隔符两种方式。其中,网址翻页采集的POST方式采集,可以查看软件帮助文档,功能仅限定在网址采集的翻页采集时。此处主要介绍POST参数分隔符方式的POST采集。 POS…

2023年9月5日 0条评论 82点热度 0人点赞 365crawadmin 阅读全文

本文以海关进口重点商品数据采集为例,演示如何将表单数据保存为Excel文件。  

2023年9月5日 0条评论 73点热度 0人点赞 365crawadmin 阅读全文

蜜蜂采集器使用教程 - 检测百度网盘链接是否有效 建站过程中,可能需要使用到百度网盘等第三方网盘。而不少情况下,网盘分享链接可能已经失效。如果网站长期存在大量失效链接,对网站用户留存的影响非常大。对此,比较好的处理方法,就是检测链接是否有效。 本文以蜜蜂采集器为例,调用百度网盘链接有效性验证插件,实现链接有效性检测功能。 插件介绍 蜜蜂采集器的插件功能,分为列表页网址插件、数据处理插件、标签数据处理插件、文件上传插件、内容发布插件、消息通知插件。每一种插件都支持PHP、Python、Nodejs、Go四种编程语言。…

2023年9月5日 0条评论 57点热度 0人点赞 365crawadmin 阅读全文

蜜蜂采集器2305版本的POST采集方法介绍。蜜蜂采集器自2305版本开始,支持POST参数分隔符方式的POST采集。  

2023年9月5日 0条评论 73点热度 0人点赞 365crawadmin 阅读全文

本文以海关进口重点商品数据采集为例,演示如何将表单数据保存为Excel文件。  

2023年9月5日 0条评论 69点热度 0人点赞 365crawadmin 阅读全文

建站过程中,可能需要使用到百度网盘等第三方网盘。而不少情况下,网盘分享链接可能已经失效。如果网站长期存在大量失效链接,对网站用户留存的影响非常大。对此,比较好的处理方法,就是检测链接是否有效。  

2023年9月5日 0条评论 58点热度 0人点赞 365crawadmin 阅读全文

蜜蜂采集器的使用教程 - 将采集数据导出到Excel表格 蜜蜂采集器的采集数据,有两种方法导出到Excel文件。一种是数据编辑窗口的“导出当前页记录”,一种是“发布到文件”中添加Excel文件发布模板。 导出当前页记录 打开任意采集规则的“数据编辑”窗口,点击“菜单”——“全部”——“导出当前页记录”,即可导出为csv格式文件…

2023年9月5日 0条评论 67点热度 0人点赞 365crawadmin 阅读全文

采集器除了采集之外,还可以做很多有趣的事情。本文以蜜蜂采集器为例,介绍如何使用采集器实现论坛自动签到的功能。 环境准备 为了方便测试,我们自建一个测试用的论坛站点。自建环境如下: Discuz论坛系统:这里以Discuz论坛系统为例,搭建一个简单的论坛。具体搭建过程,此处略过。 每日签到:这个是Discuz插件,注意区分名称,全称是“DSU每日签到”。如果某个论坛的签到页面,带有dsu_paulsign字样,那一般就是使用了这个签到插件。 编写任务规则 这里,因为我们要实现自动签到功能。首先…

2023年9月5日 0条评论 70点热度 0人点赞 365crawadmin 阅读全文

蜜蜂采集器的使用教程 - 采集北京新发地市场农产品价格行情 本文以北京新发地市场农产品价格行情采集为例,介绍列表页网址中的时间格式化参数的使用方法。 页面分析 数据来源:北京新发地市场官网。 使用浏览器打开北京新发地市场官网,按F12打开浏览器的开发者工具。设置时间范围为当天,点击“查询”。可以看到.../getPriceData.html这样的POST请求,返回内容为JSON格式。我们试着将POST请求的网址和参数改装成GET方式,发现也可以正常访问,因此,就以此地址的GET请求来采集。 …

2023年9月5日 0条评论 39点热度 0人点赞 365crawadmin 阅读全文
1131415161754