有的网页没有下一页按钮,但是有【加载更多】或【再显示20条】等按钮,通过不断点击这些按钮,可以实现翻页,加载出新数据。 像 搜狗微信首页 、微博评论 等页面都是这种情况。   针对这类网页,使用智能识别和自行配置的采集规则,都能实现翻页,具体设置方法如下:     1、智能识别实现【点击加载更多翻页】 示例网址如:https://weixin.sogou.com/     八爪鱼的智能识别,支持【加载更多内容】这种翻页的智能识别,如下图所示:   在 新手入门第8课:采集原理与流程执行逻辑 中,我们讲过,流程的执行…

2023年9月5日 0条评论 38点热度 0人点赞 365crawadmin 阅读全文

采集场景 进入同花顺基金净值查询页面:http://fund.10jqka.com.cn/datacenter/jz/ ,输入查询时间后搜索,采集搜索后得到的多个基金净值数据。   采集字段 序号、基金代码、基金代码链接、基金名称、基金链接、相关内容、相关内容链接、单位净值、累计净值、增长值、增长率、申购状态、赎回状态、当前采集时间等字段。     点击查看高清大图,下文其他图片同理   采集结果 采集结果可导出为Excel,CSV,HTML,数据库等多种格式。导出为Excel示例:       采集步骤 步骤一、…

2023年9月5日 0条评论 51点热度 0人点赞 365crawadmin 阅读全文

采集场景 在百度图片首页(http://image.baidu.com/)输入关键词搜索,采集得到的图片地址。示例是搜索关键词【三清山】得到的图片。   采集字段 搜索关键词、图片地址、图片保存文件路径。   鼠标放到图片上,右键,选择【在新标签页中打开图片】可查看高清大图 下文其他图片同理   采集结果 采集结果可导出为Excel,CSV,HTML,数据库等多种格式。导出为Excel示例:     教程说明 本篇制作时间:2022/6/30    八爪鱼版本:V8.5.4 如果因网页改版造成网址或步骤无效,无法采…

2023年9月5日 0条评论 68点热度 0人点赞 365crawadmin 阅读全文

采集场景 在豆瓣电影首页(https://movie.douban.com/)输入关键词搜索,得到相关电影列表页。实例网址:https://search.douban.com/movie/subject_search?search_text=%E6%88%98%E7%8B%BC ,是输入关键词【战狼】后得到的电影列表页。然后点击电影链接,进入电影详情页,采集详情页数据。     鼠标放到图片上,右键,选择【在新标签页中打开图片】可查看高清大图 下文其他图片同理    采集字段 电影、导演、编剧、主演、制片国家/地区…

2023年9月5日 0条评论 86点热度 0人点赞 365crawadmin 阅读全文

采集场景 在微博热搜榜(https://s.weibo.com/top/summary?Refer=top_hot&topnav=1&wvr=6)可实时查看微博热搜排名、热搜关键词和热搜数。点击每个热搜关键词可进入与其相关的微博列表页。我们需要采集以上数据。   采集字段 微博热搜排名、热搜关键词、热搜数、内容、发布时间、来源、收藏数、转发数、评论数、点赞数、采集时间和页面网址等字段。     鼠标放到图片上,右键,选择【在新标签页中打开图片】可查看高清大图 下文其他图片同理   采集结果 采集结果…

2023年9月5日 0条评论 52点热度 0人点赞 365crawadmin 阅读全文

在正式开始数据采集之前,请根据自身系统,下载安装合适的八爪鱼客户端。 本文讲解Windows客户端安装方法与常见问题汇总。   一、下载安装八爪鱼Windows客户端(8版本)   1、系统要求   Win7/Win8/Win8.1/Win10(x64位) XP系统和32位系统,请下载安装7版本   特别说明: a. 如何查看自己电脑是什么系统?找到【此电脑】,右键,选择【属性】即可查看。

2023年9月5日 0条评论 44点热度 0人点赞 365crawadmin 阅读全文

八爪鱼提供JSON采集功能,通过打开JSON网址,配置流程,能够进行JSON采集。   一、JSON是什么 JSON是一种轻量的数据交换格式,由于一些优秀的特性比如比 XML 更小、更快,更易解析和阅读,并有效地提升网络传输效率,而得到广泛使用。   二、JSON采集的优点 1、无需加载图片视频等信息,采集速度更快 2、部分网站防采集限制减少,采集更加顺畅     三、JSON采集实例   示例网址:https://b2b.baidu.com/ 需求:采集关键词为机械设备的信息地址,包括:公司名/链接/注册/产品/…

2023年9月5日 0条评论 44点热度 0人点赞 365crawadmin 阅读全文

八爪鱼8.4.8版本增加了本地采集升级了加速模式,采集界面有较大优化。 本教程将详细介绍8.4.8版本本地采集界面。   一、普通模式 首先根据自定义入门教程,配置一个采集任务,(这里小八配置了一个当当图书采集的任务,用来给大家演示。)任务配置完成后点击页面右上角的采集,在弹出的启动选项中选择【普通模式】 启动采集后就是本地采集的界面,先整体的来看一下   下面详细介绍每一个页面的内容 1.默认页面,上半部分显示任务的状态:已采集到的数据、重复数据量、采集用时、平均速度等,下半部分显示的是当前采集到的具体数据。 右…

2023年9月5日 0条评论 62点热度 0人点赞 365crawadmin 阅读全文

采集场景 点击房天下网站的【二手房】分类,采集【二手房】分类下的房屋数据。 采集时可选择目标城市,本示例以深圳二手房为例:https://sz.esf.fang.com 。   采集字段 房源名称、房屋介绍、联系人、售价、所在小区、具体地址、单位价格等。   点击查看高清大图,下文其他图片同理     采集结果 采集结果可导出为Excel、CSV、HTML、数据库等多种格式。导出为Excel示例:     教程说明 本篇制作时间:2022/6/29   八爪鱼版本:V8.5.4 如果因网页改版造成网址或步骤无效,无…

2023年9月5日 0条评论 57点热度 0人点赞 365crawadmin 阅读全文

有很多网站,是需要登录账号密码以后,才能采集到目标数据的。有的网站登录时还会需输入验证码。 针对这类网站,八爪鱼提供多种解决方法。本课将详细讲解。   方法一、浏览器模式+记住Cookie   针对需要登录的网站,我们可以先将八爪鱼切换成浏览器模式,在浏览器模式下完成登录。然后通过获取Cookie记住登录状态。这样,八爪鱼 能在执行采集任务时,直接以登录状态打开网页,然后再采集数据。   场景一:输入账号、密码登录   以豆瓣网为例, 登录网址为:https://www.douban.com 实际要采集数据的网址为…

2023年9月5日 0条评论 38点热度 0人点赞 365crawadmin 阅读全文
14567813