蜜蜂采集器的使用教程 - 2305版本的POST采集方法介绍 POST方法是一种HTTP请求方法,区别于GET方法。POST采集就是使用POST方法进行采集。 蜜蜂采集器自2305版本开始,支持POST参数分隔符方式的POST采集,同时废除了此前的2304版本中的域名指定POST采集的方法。 至此,软件支持网址翻页采集的POST方式采集和POST参数分隔符两种方式。其中,网址翻页采集的POST方式采集,可以查看软件帮助文档,功能仅限定在网址采集的翻页采集时。此处主要介绍POST参数分隔符方式的POST采集。 POS…

2023年9月5日 0条评论 68点热度 0人点赞 365crawadmin 阅读全文

本文以海关进口重点商品数据采集为例,演示如何将表单数据保存为Excel文件。  

2023年9月5日 0条评论 54点热度 0人点赞 365crawadmin 阅读全文

蜜蜂采集器使用教程 - 检测百度网盘链接是否有效 建站过程中,可能需要使用到百度网盘等第三方网盘。而不少情况下,网盘分享链接可能已经失效。如果网站长期存在大量失效链接,对网站用户留存的影响非常大。对此,比较好的处理方法,就是检测链接是否有效。 本文以蜜蜂采集器为例,调用百度网盘链接有效性验证插件,实现链接有效性检测功能。 插件介绍 蜜蜂采集器的插件功能,分为列表页网址插件、数据处理插件、标签数据处理插件、文件上传插件、内容发布插件、消息通知插件。每一种插件都支持PHP、Python、Nodejs、Go四种编程语言。…

2023年9月5日 0条评论 46点热度 0人点赞 365crawadmin 阅读全文

蜜蜂采集器2305版本的POST采集方法介绍。蜜蜂采集器自2305版本开始,支持POST参数分隔符方式的POST采集。  

2023年9月5日 0条评论 62点热度 0人点赞 365crawadmin 阅读全文

本文以海关进口重点商品数据采集为例,演示如何将表单数据保存为Excel文件。  

2023年9月5日 0条评论 55点热度 0人点赞 365crawadmin 阅读全文

建站过程中,可能需要使用到百度网盘等第三方网盘。而不少情况下,网盘分享链接可能已经失效。如果网站长期存在大量失效链接,对网站用户留存的影响非常大。对此,比较好的处理方法,就是检测链接是否有效。  

2023年9月5日 0条评论 48点热度 0人点赞 365crawadmin 阅读全文

蜜蜂采集器的使用教程 - 将采集数据导出到Excel表格 蜜蜂采集器的采集数据,有两种方法导出到Excel文件。一种是数据编辑窗口的“导出当前页记录”,一种是“发布到文件”中添加Excel文件发布模板。 导出当前页记录 打开任意采集规则的“数据编辑”窗口,点击“菜单”——“全部”——“导出当前页记录”,即可导出为csv格式文件…

2023年9月5日 0条评论 56点热度 0人点赞 365crawadmin 阅读全文

采集场景 在智联招聘地区招聘搜索页(https://sou.zhaopin.com/?jl=765), 输入关键词搜索(示例中的搜索关键词为【爬虫工程师】),搜索后得到招聘信息列表页。点击职位链接,进入职位详情页,采集详情页数据。   采集字段 职位名称、职位薪资、职位描述、职位链接等。     鼠标放到图片上,右键,选择【在新标签页中打开图片】可查看高清大图 下文其他图片同理   采集结果 采集结果可导出为Excel、CSV、HTML、数据库等多种格式。导出为Excel示例:     采集步骤 步骤一:打开网页 …

2023年9月5日 0条评论 31点热度 0人点赞 365crawadmin 阅读全文

在数据采集过程中,我们可能有这样的需求:第一次采集所有数据,后续再采集的时候只需要采集网页上新增的数据。 自动采集新增数据的需求,可以通过八爪鱼的定时云采集配合多种策略实现,以下将结合实例详细讲解。 注意:定时云采集是八爪鱼采集器团队版及以上版本才具有的功能(旧套餐旗舰版及以上版本),详情请看 版本介绍 。   实例网址:http://www.gdgpo.gov.cn/queryMoreInfoList/channelCode/0008.html 采集需求:定时采集广东省政府采购网列表中新增的公告标题、标题链接和发…

2023年9月5日 0条评论 32点热度 0人点赞 365crawadmin 阅读全文

八爪鱼采集到的数据,支持导出到Oracle数据库中。可手动导出,也按照设置的定时导出计划,自动导出。 本教程将以云采集数据,演示手动/自动导出到Oracle数据库中的具体步骤。   准备工作:安装Oracle依赖组件   在正式导出到Oracle数据库前,需先安装Oracle依赖组件,否则点击【导出到Oracle】会提示:     Oracle依赖组件安装步骤如下:   Step1:下载Oracle依赖组件的ZIP文件 64位:https://www.oracle.com/database/technologies…

2023年9月5日 0条评论 32点热度 0人点赞 365crawadmin 阅读全文
1161718192054