问题: 数据没有全部采集到就停止采集了怎么办? 回答: 1. 先确认网站的采集是否需要登录。浏览器里复制到的链接是不会保存登录状态的,所以需要在软件再次进行登录。登录在软件的右上角预登录里进行。 详情请参考预登录的教程: 预登录和预执行操作

2023年9月5日 0条评论 43点热度 0人点赞 365crawadmin 阅读全文

有很多网站,通过点击【加载更多】或【再显示20条】等按钮进行翻页。像 搜狗微信首页 、微博评论 等页面都是这种情况。   针对这种网页,八爪鱼V8.4.0版本新增【边点击边采集】功能,可以边点击【加载更多按钮】,加载出新数据,边采集每次加载的新数据。   例:设置点击20次,则点击1次后,采集第1次点击后加载的数据,继续点击第2次,采集第2次点击后加载的数据.......直至点击20次,采集第20次点击后加载的数据。   使用智能识别和自行配置的采集规则,都能实现【边点击边采集】,具体设置方法如下。   一、使用智…

2023年9月5日 0条评论 50点热度 0人点赞 365crawadmin 阅读全文

在 第3课中,我们学会了如何采集多个列表中的数据,相信大家都已学会创建【循环-提取数据】。本节课将学习一种特殊格式的列表数据——表格数据采集。   表格是一种很常见的网页样式,例:球探网的赛事比分表,天天基金网的基金排名表,东方财富网的股票信息表,中国证券业协会的年报披露表格等等。   表格作为列表数据的特殊形式,我们可以将表格的每一行看作为列表的每一个数据的大区块范围, 表格每一行的全部单元格字段,相当于列表每个数据区块内的多个子字段。那么上节课讲的【循环-提取数据】创建方法在本课也能用。   现在有一个新浪财经…

2023年9月5日 0条评论 44点热度 0人点赞 365crawadmin 阅读全文

问题: 遇到页面中需要点击的才能查看的数据怎么办? 回答: 可以在软件的右上角,绿色按钮预执行操作界面通过添加点击组件进行查看。 具体请参考教程: 预登录和预执行操作

2023年9月5日 0条评论 53点热度 0人点赞 365crawadmin 阅读全文

采集场景 点击房天下网站的【二手房】分类,采集【二手房】分类下的房屋数据。 采集时可选择目标城市,本示例以深圳二手房为例:https://sz.esf.fang.com 。   采集字段 房源名称、房屋介绍、联系人、售价、所在小区、具体地址、单位价格等。   点击查看高清大图,下文其他图片同理     采集结果 采集结果可导出为Excel、CSV、HTML、数据库等多种格式。导出为Excel示例:     教程说明 本篇制作时间:2022/6/29   八爪鱼版本:V8.5.4 如果因网页改版造成网址或步骤无效,无…

2023年9月5日 0条评论 57点热度 0人点赞 365crawadmin 阅读全文

在第 2 课:采集数据中,学习了如何从网页抓取我们的文本、图片、超链接,对八爪鱼【自定义配置】任务采集数据的过程进行了展示。本课将继续深入学习采集有一些列表中的数据。   列表是最常见的网页样式。示例:京东商品列表,58个同城房书源列表,豆瓣列表。通过简单配置,八爪鱼可以自动采集全部列表中的数据。   现在有一个豆瓣图书列表的网页:https://book.douban.com/tag/%E5%B0%8F%E8%AF%B4。网页上有很多结构相同的图书列表,每个图书列表列表的领域:图书标题、出版信息、评分、评价人数、…

2023年9月5日 0条评论 50点热度 0人点赞 365crawadmin 阅读全文

问题: 如何既采集列表,又采集详情中的数据 / 如何采集详情页? 回答: 后羿采集器有深入采集的功能,只需要点击“深入采集”按钮,或者点击已经采集到的链接就能进入详情页进行采集。 具体操作请参考教程: 如何设置深入采集

2023年9月5日 0条评论 66点热度 0人点赞 365crawadmin 阅读全文

采集场景 采集黄河口信息港的短租房信息。   采集字段 区域、标题、标题链接、出租人、价格、位置等。     点击图片可查看高清大图,下文其他图片同理    采集结果 采集结果可导出为Excel,CSV,HTML,数据库等多种格式。导出为Excel示例:     教程说明 本篇制作时间:2021/1/13    八爪鱼版本:V8.2.6 如果因网页改版造成网址或步骤无效,无法采集到目标数据,请联系官方客服,我们将及时修正。   采集步骤   步骤一、打开网页 步骤二、自动识别 步骤三、设置点击步骤,进入详情页 步骤…

2023年9月5日 0条评论 49点热度 0人点赞 365crawadmin 阅读全文

  从本课开始,我们将自己动手,配置一个采集规则。从最简单的单个数据采集开始。   现在有一个京东商品详情页的网页:https://item.jd.com/100007073871.html。网页上有很多字段:文本(标题、价格等)、图片(商品图片)、链接(详情的超链接)     鼠标放到图片上,右键,选择【在新标签页中打开图片】可查看高清大图 下文其他图片同理   我们想将上述网页上非结构化的文本、图片、超链接等字段采集下来,保存为excel等结构化的数据,如下图所示:     在八爪鱼中如何操作?以下为具体步骤。…

2023年9月5日 0条评论 37点热度 0人点赞 365crawadmin 阅读全文

问题: 后羿采集器可以直接将采集到的数据发布到网站吗? 回答: 由于涉及到版权的问题,导出到网站有很大的法律风险。所以后羿采集器暂时不支持导出到网站的功能。您可以选择先将数据导出到MySql等数据库,再通过数据库发布到网站。

2023年9月5日 0条评论 74点热度 0人点赞 365crawadmin 阅读全文
1678910