蜜蜂采集器使用教程 - 热点新闻推送到手机

2023年9月5日 40点热度 0人点赞 0条评论

网站一般由栏目页和内容页组成。首页、主题、搜索结果等也可视为栏目页。

采集网页数据,即从栏目页获得内容页地址列表,从内容页提取所需数据。

网页数据采集有着广泛的用途。例如,金融数据采集分析,门户新闻实时监控,监控电商的库存变化/价格变化,舆情分析,客户资料采集,短视频/文章同步发布到各平台。因此,掌握好这门技术,是非常有必要的。

现在,我们做一个热点新闻推送到手机的功能。我们以某门户站点的新闻热搜榜单为采集对象,采集结果将发布到企业微信。

页面分析

使用Chrome浏览器,按F12打开浏览器的开发者工具,再打开门户站点。查看“网络”面板的访问列表,逐个查看,进而找到热搜的请求地址: https://www.xxx.com/hot-event/hot-board/?origin=xxx_pc&_signature=********* 。这个地址后面带了_signature,我们去掉试试,直接访问 https://www.xxx.com/hot-event/hot-board/?origin=xxx_pc ,发现可以打开。由此得出结论,仅仅采集该地址,即可获得实时热搜榜单。如下图。

页面分析

新建采集规则

打开“蜜蜂采集器”。在左侧的“采集任务列表”上右键点击,弹出菜单中选择“添加采集任务”--“添加采集任务”。

采集任务的“基本设置”中,设置采集任务的名称为“热点新闻推送到手机”。其他默认。

采集任务的“列表页”中,添加“普通网址”,内容为https://www.xxx.com/hot-event/hot-board/?origin=xxx_pc

采集规则之列表页

如上图。点击下方“实时输出”窗口的网址,在弹出菜单中选择“测试网址采集”。

网址采集

采集任务的“网址采集”中,测试完毕后,展开下方“调试”区域的左侧调试日志列表,选择第一个“Http请求”日志,查看右侧的“响应内容”的选项卡标签,再复制其下方的具体内容。可以看到,这个具体内容就是热搜榜单的具体数值列表,数据格式为JSON格式。

采集规则之网址采集

复制这个JSON内容,再选择上方规则区域的“JSON分析工具”,将内容粘贴到“JSON分析工具”的左侧区域。

JSON分析工具

如图,选中“Url”行,可以看到,JsonPath表达式为["data"][0]["Url"]。所以,“网址”标签的采集规则(JsonPath)为["data"][*]["Url"]。但这个链接太长,我们使用浏览器打开对应的新闻链接,发现实际网址是 https://www.xxx.com/trending/7189954117882609668/?rank=4&log_from=9bc734edafd3a_1674090438028 这样的结构。其中rank是排名,这个是动态变化的,因此,应该从网址中过滤掉rank参数。所以,只需要 https://www.xxx.com/trending/7189954117882609668/ 这样的结果即可。所以,再添加一个“标签数据二次处理”项————“字符串替换”,通配规则为[*]topic_id=[参数],替换规则为https://www.xxx.com/trending/[参数1]

“网址”标签的采集

类似的,我们再增加一个“标题”标签,采集规则(JsonPath)为["data"][*]["Title"]。“封面”标签,采集规则(JsonPath)为["data"][*]["Image"]["url"]。“热度”标签,采集规则(JsonPath)为["data"][*]["HotValue"]。 如果以此采集,每次采集到50条记录,一天内多次采集,可能有上百条数据。因此,我们过滤一下。可以看到,这50条记录中,只有少量的Label值是hot,以此作为过滤条件。再增加一个“热门”标签,采集规则(JsonPath)为["data"][*]["Label"],并设置“内容过滤处理”必须包含“hot”字符串。如图。

内容过滤处理

内容采集

采集任务的“内容采集”中,设置“热门”标签为临时标签。临时标签不入库。因为“热门”标签仅仅用来过滤网址列表,无需入库。

临时标签

采集任务的“内容采集”中,“内容”标签的采集。“内容”标签采集的是热点新闻的概要。所以,先采集 https://www.xxx.com/trending/7190322924799131705 ,即“热点新闻专题页”,获取里面的第一个新闻链接。再访问新闻链接,获取里面的新闻概要。如果“热点新闻专题页”中无法获取到新闻链接,则新闻概要为空。

因此,提取新闻链接的采集规则(XPath)为//div[@class="feed-card-article-l"]/a/@href。XPath可以通过浏览器的开发者工具获取,请参考相应文档。

随后勾选“标签数据二次处理”,并添加“网址补全/Http请求”项。

再添加一个“字符串截取”项,用于从“新闻链接页面”提取概要。起始字符串为<meta name="description" content=",结束字符串为"/>

再添加一个“添加内容前后缀”项。 字符串后缀:

字符串后缀:

原文:[标签:原文地址]
热度:[标签:热度]
[标签:封面]

考虑到“内容”标签可能为空,“添加内容前后缀”时,取消勾选“内容为空时,不添加前后缀”。

添加内容前后缀

再添加一个“原文地址”标签。设置“数据来源”为“从网址中提取”,并且提取方法为“字符串截取”,起始字符串和结束字符串均为空。

原文地址

测试采集规则。点击下方的“测试”,测试是否正常执行。在“网址采集”的测试窗口,双击记录项 或 点击“测试内容采集”,即可获得测试网址。

测试内容采集

注意:测试采集时提示“您需要允许该网站执行 JavaScript”,这是未设置Cookie所致。在管理器“Cookie管理”中添加Cookie项,在采集规则的“基本设置”中设置Cookie,即可。

内容发布

打开主菜单“帮助”——“应用市场”。类型选择“内容发布插件”。找到插件“发布到企业微信应用”,点击“下载”。

应用市场

导入插件

如果没有可用的PHP“外部程序”,请下载PHP,并添加到“外部程序管理中”。

点击“保存”后,即创建了一个“发布到插件”的发布配置。

打开管理器“发布到插件”,选中刚刚添加的发布配置,点击“修改”。填入您的企业微信开发者帐号信息。touser / toparty / totag 至少填写一个,不能全部留空;corpid / corpsecret / agentid 必填。

发布到插件

切换回采集规则编辑窗口。添加“发布到插件”(点击工具栏“发布到站点”后面的下拉图标),并指定发布参数为刚刚添加的发布配置。点击下方的“测试”,测试是否正常执行。在“内容采集”的测试窗口,双击记录项 或 点击“测试内容发布”,即可获得测试数据。

测试内容发布

计划任务

打开主菜单“视图”——“计划任务”。添加一个计划任务,执行周期为10分钟。

计划任务

至此,就实现了我们自己的热点新闻推送。

希望这篇文档的介绍,可以抛砖引玉,也能让你了解采集器的使用,可以去蜜蜂采集器官网https://zhi200.com下载最新版本客户端。

365crawadmin

这个人很懒,什么都没留下

文章评论

您需要 登录 之后才可以评论