现在很多网站采用异步请求方式来展现网页内容,而异步请求中的内容多为JSON格式。如果采用可视化采集技术,则要展示这样的页面内容,需要先加载各种css、js文件,速度较慢,网页的可视化展示也比较占用系统资源;采集网页过程中页面呈现可能偶尔会卡住,也非常影响体验。 对这种JSON格式异步数据的采集,如果采用传统采集方式,使用JSON表达式解析,也可以很方便。 下面以同花顺的“7×24小时要闻直播”为例,使用蜜蜂采集器进行简单的采集测试。 我们先使用浏览器访问同花顺的“7&…

2023年9月5日 0条评论 33点热度 0人点赞 365crawadmin 阅读全文

蜜蜂采集器的使用教程 - 实现博客搬家 博客,即网络日志,是一种通过互联网发布个人或团体的观点、经验、知识等内容的方式。当前,除了传统的文字和图片形式的博客外,还出现了一些新颖和有趣的博客形式,如视频博客(Vlog)、音频博客(Podcast)、动画博客(Animation Blog)等。 博客搬家,就是将博客从一个平台或者域名迁移到另一个平台或者域名的过程。博客搬家的原因有很多,比如平台的性能、稳定性、功能、设计、商业化等方面的不满意,或者个人的喜好、需求、目标等方面的变化。 十多年前,博客市场格局基本定型,一些…

2023年9月5日 0条评论 65点热度 0人点赞 365crawadmin 阅读全文

蜜蜂采集器的使用教程 - 使用JavaScript内置脚本引擎进行加减乘除运算 采集器对加减乘除等运算功能支持不够,一般通过调用插件实现复杂功能。也有的采集器支持内置脚本引擎实现加减乘除运算。蜜蜂采集器在当前版本中增加了内置JavaScript脚本的支持,采用V8引擎执行JavaScript脚本,从而实现加减乘除等运算。 本文以高赞评论的采集与分析为例,演示如何使用蜜蜂采集器的内置JavaScript脚本功能。 需求说明 很多短视频或文章评论下,都会有一些高赞评论。那么,这些高赞评论都有哪些特征呢?如何才…

2023年9月5日 0条评论 55点热度 0人点赞 365crawadmin 阅读全文

蜜蜂采集器软件的安装和基本使用。  

2023年9月5日 0条评论 56点热度 0人点赞 365crawadmin 阅读全文

从ZBlog站点迁移到WordPress站点,演示如何使用蜜蜂采集器实现博客搬家,并介绍网址采集时如何使用翻页采集功能。  

2023年9月5日 0条评论 56点热度 0人点赞 365crawadmin 阅读全文

采集器对加减乘除等运算功能支持不够,一般通过调用插件实现复杂功能。也有的采集器支持内置脚本引擎实现加减乘除运算。蜜蜂采集器在当前版本中增加了内置JavaScript脚本的支持,采用V8引擎执行JavaScript脚本,从而实现加减乘除等运算。  

2023年9月5日 0条评论 51点热度 0人点赞 365crawadmin 阅读全文

JSON格式异步数据的采集。  

2023年9月5日 0条评论 87点热度 0人点赞 365crawadmin 阅读全文

从ZBlog站点迁移到WordPress站点,演示如何使用蜜蜂采集器实现博客搬家,并介绍网址采集时如何使用翻页采集功能。  

2023年9月5日 0条评论 68点热度 0人点赞 365crawadmin 阅读全文

采集器的原理、使用场景,抓包工具的使用,HTTP协议的格式介绍,蜜蜂采集器的调试功能。  

2023年9月5日 0条评论 57点热度 0人点赞 365crawadmin 阅读全文

本文以微博评论的采集为例,简单介绍一下数据采集的分析思路,以及JSON数据的解析、发布到文件的文件模板编写等。 环境准备 VSCode: 全称Visual Studio Code,是微软公司开发的一款跨平台文本编辑器,支持多种语言和文件格式的编辑。下载地址:点击下载  蜜蜂采集器: 一款数据采集软件。 页面分析 使用浏览器打开微博热搜榜,打开其中一个热搜,进入后找到其中一个评论较多的微博文章页面(复制微博地址到新标签页中打开)。按F12打开浏览器的开发者工具。刷新页面,并不断下拉加载更多评论,再分析&ld…

2023年9月5日 0条评论 66点热度 0人点赞 365crawadmin 阅读全文
1141516171854