【智能模式】如何倒序采集网页数据

2023年9月5日 56点热度 0人点赞 0条评论

在数据采集的时候,经常会需要倒序采集(从最后一页开始往前采集数据)的情况。本文将简单说明如何使用后羿采集器的智能模式进行网页数据的倒序采集。

情况一:列表页翻页后,链接改变,存在最后一页链接

处理方式一:将列表页最后一页链接作为采集链接

当我们能够直接拿到网站列表页最后一页的链接时,可以通过直接复制链接的形式,用最后一页的链接来创建采集任务。

1. 在浏览器里点击到最后一页,复制最后一页的链接。

365crawadmin

这个人很懒,什么都没留下

文章评论

您需要 登录 之后才可以评论