在设置采集任务的过程中,用户会遇到多种多样的网页,一般可以分为三种:一种是直接有分页按钮的网页,一种是瀑布流类型的网页,还有一种是分页+瀑布流类型的网页。 1. 页面中有可点击的分页按钮(例如“下一页”或“点击加载更多”) 这种网页是最常见的一种分页类型,在提取列表元素后,软件会提示是否需要自动翻页采集。如果用户只采集单页数据,则不需要设置分页循环。 在点击需要设置分页循环之后,软件会提示所识别到的分页是否正确,如果点击正确按钮,软件会配置好循环组件。 具体如下动图所示: 如果软件识别的分页按钮不够准确,用户可以点…

2023年9月5日 0条评论 26点热度 0人点赞 365crawadmin 阅读全文

采集场景 在智联招聘地区招聘搜索页(https://sou.zhaopin.com/?jl=765), 输入关键词搜索(示例中的搜索关键词为【爬虫工程师】),搜索后得到招聘信息列表页。点击职位链接,进入职位详情页,采集详情页数据。   采集字段 职位名称、职位薪资、职位描述、职位链接等。     鼠标放到图片上,右键,选择【在新标签页中打开图片】可查看高清大图 下文其他图片同理   采集结果 采集结果可导出为Excel、CSV、HTML、数据库等多种格式。导出为Excel示例:     采集步骤 步骤一:打开网页 …

2023年9月5日 0条评论 32点热度 0人点赞 365crawadmin 阅读全文

在数据采集过程中,我们可能有这样的需求:第一次采集所有数据,后续再采集的时候只需要采集网页上新增的数据。 自动采集新增数据的需求,可以通过八爪鱼的定时云采集配合多种策略实现,以下将结合实例详细讲解。 注意:定时云采集是八爪鱼采集器团队版及以上版本才具有的功能(旧套餐旗舰版及以上版本),详情请看 版本介绍 。   实例网址:http://www.gdgpo.gov.cn/queryMoreInfoList/channelCode/0008.html 采集需求:定时采集广东省政府采购网列表中新增的公告标题、标题链接和发…

2023年9月5日 0条评论 33点热度 0人点赞 365crawadmin 阅读全文

八爪鱼采集到的数据,支持导出到Oracle数据库中。可手动导出,也按照设置的定时导出计划,自动导出。 本教程将以云采集数据,演示手动/自动导出到Oracle数据库中的具体步骤。   准备工作:安装Oracle依赖组件   在正式导出到Oracle数据库前,需先安装Oracle依赖组件,否则点击【导出到Oracle】会提示:     Oracle依赖组件安装步骤如下:   Step1:下载Oracle依赖组件的ZIP文件 64位:https://www.oracle.com/database/technologies…

2023年9月5日 0条评论 33点热度 0人点赞 365crawadmin 阅读全文

采集场景 采集黄河口信息港的短租房信息。   采集字段 区域、标题、标题链接、出租人、价格、位置等。     点击图片可查看高清大图,下文其他图片同理    采集结果 采集结果可导出为Excel,CSV,HTML,数据库等多种格式。导出为Excel示例:     教程说明 本篇制作时间:2021/1/13    八爪鱼版本:V8.2.6 如果因网页改版造成网址或步骤无效,无法采集到目标数据,请联系官方客服,我们将及时修正。   采集步骤   步骤一、打开网页 步骤二、自动识别 步骤三、设置点击步骤,进入详情页 步骤…

2023年9月5日 0条评论 44点热度 0人点赞 365crawadmin 阅读全文

采集场景 在携程网点击【攻略】-【目的地攻略】- 【选择目的地】-【选择景点】,采集目的地景点下的评论。 示例网址:https://you.ctrip.com/sight/bole922/5500.html               https://you.ctrip.com/sight/lijiang32/3049.html   采集字段 景点名、级别、总评分、评论数、景点地址、开放时间、景点介绍、整体景色、整体趣味、整体性价比、用户名、评分、景色、趣味、性价比、评论正文、评论时间。     点击查看高清大图,…

2023年9月5日 0条评论 40点热度 0人点赞 365crawadmin 阅读全文

采集场景 在百度首页 https://www.baidu.com/  输入关键词搜索,采集搜索后得到的搜索结果。     采集字段 标题、网页链接、简介   采集结果 采集结果可导出为Excel,CSV,HTML,数据库等多种格式。导出为Excel示例:     教程说明 本篇更新时间:2022/6/9    八爪鱼版本:V8.5.2 如果因网页改版造成网址或步骤无效,无法采集到目标数据,请联系官方客服,我们将及时修正。   采集步骤 步骤一、打开网页 步骤二、批量输入多个关键词并搜索 步骤三、创建【循环翻页】,采…

2023年9月5日 0条评论 38点热度 0人点赞 365crawadmin 阅读全文

采集场景 孔夫子旧书网有非常多的类目,本教程讲解如何分类目采集图书列表页数据。 示例网址 http://book.kongfz.com/Cjishu/n1004000000/ 是【图书-工程技术-改革开放与80年代】类目的网址。   采集字段 书名、出版社、店铺名称、发货地址、品相、售价等字段。       点击查看高清大图,下文其他图片同理     采集结果 采集结果可导出为Excel、CSV、HTML、数据库等多种格式。导出为Excel示例:     教程说明 本篇制作时间:2022/6/08   八爪鱼版本:…

2023年9月5日 0条评论 23点热度 0人点赞 365crawadmin 阅读全文

采集场景 采集Amazon商品详情页数据。Amazon商品详情页实例网址:https://www.amazon.com/dp/B07R7DY911。   采集字段 title、brand、stars、ratings、questions、price、details、productdimensions、itemweight、shippingweight、asin、itemmodelnumber、bestsellerrank、stock 等。   鼠标放到图片上,右键,选择【在新标签页中打开图片】可查看高清大图 下文其他…

2023年9月5日 0条评论 30点热度 0人点赞 365crawadmin 阅读全文

后羿采集器,基于人工智能技术,无需编程,可视化操作,免费导出采集结果,只需输入网址就能自动识别采集内容的数据采集工具。 简介 Discuz是由康盛创想科技有限公司(Comsenz)开发的一款知名社区论坛软件,站长可以不需要任何编程基础,通过简单的安装和设置,在互联网上搭建起具备完善功能、很强负载能力和可高度定制的网站。Discuz的基础架构采用世界上最流行的web编程组合PHP+MySQL实现,是一个经过完善设计,适用于各种服务器环境的高效建站解决方案。

2023年9月5日 0条评论 52点热度 0人点赞 365crawadmin 阅读全文
1262728293054