采集器的原理、使用场景,抓包工具的使用,HTTP协议的格式介绍,蜜蜂采集器的调试功能。
本文以微博评论的采集为例,简单介绍一下数据采集的分析思路,以及JSON数据的解析、发布到文件的文件模板编写等。 环境准备 VSCode: 全称Visual Studio Code,是微软公司开发的一款跨平台文本编辑器,支持多种语言和文件格式的编辑。下载地址:点击下载 蜜蜂采集器: 一款数据采集软件。 页面分析 使用浏览器打开微博热搜榜,打开其中一个热搜,进入后找到其中一个评论较多的微博文章页面(复制微博地址到新标签页中打开)。按F12打开浏览器的开发者工具。刷新页面,并不断下拉加载更多评论,再分析&ld…
蜜蜂采集器的使用教程 - 如何使用Discuz站点发布模块实现内容发布 Discuz是一款流行的搭建论坛的工具,无需会代码即可搭建一个专属论坛,并且拥有许多插件和应用,可以丰富你的论坛功能。 此前的“如何编写站点发布模块”视频中,已经简单介绍了如何编写蜜蜂采集器的站点发布模块。有兴趣的朋友,可以参照实现自己的站点发布模块。这里简便起见,直接使用蜜蜂采集器应用市场里面的“Discuz! X3.x 论坛站点发布模块”和“Discuz! X3.x 门户站点发布模…