采集器对加减乘除等运算功能支持不够,一般通过调用插件实现复杂功能。也有的采集器支持内置脚本引擎实现加减乘除运算。蜜蜂采集器在当前版本中增加了内置JavaScript脚本的支持,采用V8引擎执行JavaScript脚本,从而实现加减乘除等运算。  

2023年9月5日 0条评论 51点热度 0人点赞 365crawadmin 阅读全文

JSON格式异步数据的采集。  

2023年9月5日 0条评论 87点热度 0人点赞 365crawadmin 阅读全文

从ZBlog站点迁移到WordPress站点,演示如何使用蜜蜂采集器实现博客搬家,并介绍网址采集时如何使用翻页采集功能。  

2023年9月5日 0条评论 68点热度 0人点赞 365crawadmin 阅读全文

采集器的原理、使用场景,抓包工具的使用,HTTP协议的格式介绍,蜜蜂采集器的调试功能。  

2023年9月5日 0条评论 57点热度 0人点赞 365crawadmin 阅读全文

本文以微博评论的采集为例,简单介绍一下数据采集的分析思路,以及JSON数据的解析、发布到文件的文件模板编写等。 环境准备 VSCode: 全称Visual Studio Code,是微软公司开发的一款跨平台文本编辑器,支持多种语言和文件格式的编辑。下载地址:点击下载  蜜蜂采集器: 一款数据采集软件。 页面分析 使用浏览器打开微博热搜榜,打开其中一个热搜,进入后找到其中一个评论较多的微博文章页面(复制微博地址到新标签页中打开)。按F12打开浏览器的开发者工具。刷新页面,并不断下拉加载更多评论,再分析&ld…

2023年9月5日 0条评论 66点热度 0人点赞 365crawadmin 阅读全文

调用翻译接口,实现文本翻译功能。  

2023年9月5日 0条评论 95点热度 0人点赞 365crawadmin 阅读全文

网络代理的使用、代理配合Fiddler抓包,蜜蜂采集器的自动代理新功能。  

2023年9月5日 0条评论 57点热度 0人点赞 365crawadmin 阅读全文

平台简介 八爪鱼「团队协作管理平台」上线,平台管理员可邀请账号成为团队成员,统一管理自己和所有团队成员的任务(查看/启动/复制)、数据(查看/导出/下载)、资源(云节点/代理IP/验证码)等,促进团队协作,提升采集效率。   使用版本限制 旧套餐:年旗舰+、企业版 新套餐:企业版   一、团队协作管理平台的账号   团队协作管理平台的账号包括:1个管理员账号(有且仅有1个)+N个团队成员账号(N≥1)。   1、管理员账号说明   1)如何成为管理员 如企业版或旧套餐旗舰+版本用户想要成为管理员,可以联系八爪鱼客服…

2023年9月5日 0条评论 44点热度 0人点赞 365crawadmin 阅读全文

一、优化目的 充分利用账号内的云节点,减少节点的闲置时间,提高采集效率,采集更多的数据。   二、云节点分配原则 1、优先级相同 先启动的任务,优先进行第一批次的节点分配,其剩余子任务和后启动任务的子任务一起随机分配。   2、启动时间相同 优先级越高的任务,越先分配到节点。   场景举例: 假设账号内有5个节点,并行任务数为5。 同时启动了10个优先级相同的任务,任务在云端会先进行拆分(假设都可以拆分)。 任务A可拆分成子任务a1,a2,a3,...,an; 任务B可拆分成子任务b1,b2,b3,...,bn; …

2023年9月5日 0条评论 41点热度 0人点赞 365crawadmin 阅读全文

网页上的数据类型十分丰富:文本、图片、链接、源码等。在数据采集过程中,不同类型的数据类型,对应的抓取方式是不同的。本文将讲解常见的数据类型与其抓取方式。 示例网址:https://movie.douban.com/explore#!type=movie&tag=%E7%BB%8F%E5%85%B8&sort=recommend&page_limit=20&page_start=0   1、抓取文本:抓取显示在页面中的文本   操作:鼠标选中页面中的文本,在弹出的操作提示框中选择【采集…

2023年9月5日 0条评论 67点热度 0人点赞 365crawadmin 阅读全文
1161718192054