蜜蜂采集器使用教程 - 检测百度网盘链接是否有效 建站过程中,可能需要使用到百度网盘等第三方网盘。而不少情况下,网盘分享链接可能已经失效。如果网站长期存在大量失效链接,对网站用户留存的影响非常大。对此,比较好的处理方法,就是检测链接是否有效。 本文以蜜蜂采集器为例,调用百度网盘链接有效性验证插件,实现链接有效性检测功能。 插件介绍 蜜蜂采集器的插件功能,分为列表页网址插件、数据处理插件、标签数据处理插件、文件上传插件、内容发布插件、消息通知插件。每一种插件都支持PHP、Python、Nodejs、Go四种编程语言。…

2023年9月5日 0条评论 46点热度 0人点赞 365crawadmin 阅读全文

建站过程中,可能需要使用到百度网盘等第三方网盘。而不少情况下,网盘分享链接可能已经失效。如果网站长期存在大量失效链接,对网站用户留存的影响非常大。对此,比较好的处理方法,就是检测链接是否有效。  

2023年9月5日 0条评论 48点热度 0人点赞 365crawadmin 阅读全文

建站过程中,可能需要使用到百度网盘等第三方网盘。而不少情况下,网盘分享链接可能已经失效。如果网站长期存在大量失效链接,对网站用户留存的影响非常大。对此,比较好的处理方法,就是检测链接是否有效。  

2023年9月5日 0条评论 22点热度 0人点赞 365crawadmin 阅读全文

问题: 软件未能自动识别到链接怎么办? 回答: 通常情况下后羿采集器会自动识别到网页中的链接,如果未能自动识别到,请参考以下链接识别的教程: 如何采集详情页的链接

2023年9月5日 0条评论 49点热度 0人点赞 365crawadmin 阅读全文

在数据采集的时候,经常会需要采集详情页链接。本文通过三种方式来讲解如何利用我们后羿采集器的智能模式采集到详情页的链接,流程图模式同理。 方法一:通过自动识别获取 后羿采集器的智能模式会自动识别列表,一般网站在识别到列表的同时,就会将详情页的链接一并识别出来。 【温馨提示】如果自动识别不准确,也可以用手动点选的方式进行列表识别。 点此深入了解如何识别列表 方法二:通过深入采集获取 在软件的列表识别过程中,有时候会遇到无法识别到详情页链接的情况。这时候我们就能用深入采集功能进入详情页,采集详情页的链接。 1.在识别到列…

2023年9月5日 0条评论 49点热度 0人点赞 365crawadmin 阅读全文

目前大多数浏览器都会自带开发者工具(一般按f12即可出现),网页的cookie以及网址打开后加载的各类信息都是可以看到的。 下面以谷歌浏览器为例: 1.在谷歌浏览器里打开http://www.sd-portygzc.com/jyxx/project.html网址 这个网址点击分页时,会发现网址是不变,这个就是典型的需要抓包真实链接的post网址。 2.从右上角自定义控制里打开开发者工具或者直接按f12运行, 3.开启工具后,点击翻页后,工具里出现了个链接,这个就是网址的翻页的请求信息 4.有些网址翻页请求的信息是不…

2023年9月4日 0条评论 53点热度 0人点赞 365crawadmin 阅读全文