采集场景 采集B站UP主主页的视频列表数据。 示例网址: https://space.bilibili.com/33775467 https://space.bilibili.com/2282611 https://space.bilibili.com/21975459   采集字段 发布者、关注数、粉丝数、认证、UID、标题、视频连接、总播放数、发布时间、时长、视频封面链接   点击查看高清大图,下文其他图片同理     采集结果 采集结果可导出为Excel、CSV、HTML、数据库等多种格式。导出为Excel示…

2023年9月5日 0条评论 25点热度 0人点赞 365crawadmin 阅读全文

在 客户端界面介绍 里,我们简单讲了数据采集的2种模式:【使用模板采集数据】和【自定义配置采集数据】。 本文将详细讲解【自定义任务编辑界面介绍】,【自定义配置采集数据】可点击开始学习 。   一、自定义采集界面介绍 自定义任务界面是在自定义采集模式下出现的界面,该界面包含了不同的功能分区,自定义模式界面所下图示。   1)左上角红框为任务名,双击后可进行修改,修改完成后点击其他位置即可进行保存。      2)界面右上角为【切换浏览模式】、【设置】、【点击隐藏数据预览】、【点击隐藏流程图】、【保存】及【采集】按键。…

2023年9月5日 0条评论 51点热度 0人点赞 365crawadmin 阅读全文

有的网页包含iframe框架,在八爪鱼中也需进行相应设置,本教程将详细讲解。   1、什么是iframe框架? 通俗来说,iframe框架就是在同一个页面中有多个网页,也就是网页中嵌套了其他的网页。 iframe框架可能有一层,也可能有多层。   如何判断网页有几层iframe框架? 借助火狐浏览器的irebug和firepath插件,我们可以很容易地判断出网页有几层iframe框架。 如果没有安装,请查看 火狐浏览器的irebug和firepath插件安装教程  。 安装好后,点击【Top Window】位置,会…

2023年9月5日 0条评论 44点热度 0人点赞 365crawadmin 阅读全文

在采集数据过程中,我们可能有这样的:第一次采集所有数据,需要再采集的时候只需要采集网络就添加的数据,这时候就可以使用八爪鱼的【增量采集】功能。   【增量采集】通过对比URL来实现增量数据的采集: 将当前URL与历史URL对比,如果相同URL与历史URL相同,则跳过不采集。反之则采集。   一、功能说明 在任务配置页面,点击【采集配置】按钮,进入配置页面:   进入设置页面后,可以看到: 【启用增量采集】的选项。同时提供两种网址对比方式: 【对比整个URL,包含所有参数】:当前整条网址与之前采集过的网址做对比,如果…

2023年9月5日 0条评论 29点热度 0人点赞 365crawadmin 阅读全文

在做新闻类数据采集的时候,新闻的正文一般都有多个段落。 如果想将正文完全按照原文结构顺序采集下来,并将所有内容合并到一条数据中,可以用文章段落构建循环,然后设置【同一字段多次提取合并为一行】。 本文将以网易财经新闻采集为例详细说明。   示例网址:http://money.163.com/17/0706/01/COKG34EG002580S6.html   先按照需求提取数据。将每一段文本看做一个列表,按照 列表数据采集的方法,创建循环列表。如下图所示:       启动采集以后发现,得到很多条数据,一段对应一条数…

2023年9月5日 0条评论 48点热度 0人点赞 365crawadmin 阅读全文

XPath对于八爪鱼数据采集十分重要。绝大多数的数据采集问题,都可以通过写一条正确的XPath解决。 本课将详细讲解XPath相关的问题。    一、HTML 与 XPath   我们日常浏览的网页本质上都是一个个HTML文档。打开网页后,鼠标右键打开菜单,选择【查看网页源代码】,就能看到该网站的HTML文档。网页上的数据,在其HTML文档中都有一个对应位置。     鼠标放到图片上,右键,选择【在新标签页中打开图片】可查看高清大图 下文其他图片同理   如何在HTML文档中找到想要的数据?XPath是最常用的语言…

2023年9月5日 0条评论 26点热度 0人点赞 365crawadmin 阅读全文

采集场景 在58同城地区首页(https://sz.58.com/ ,示例中默认为深圳) ,进入招聘频道,输入职位名称搜索,得到搜索结果列表。点击职位标题链接进入详情页,采集该职位具体信息。   采集字段 职位、薪酬、更新时间、浏览人数、申请人数等字段。     采集结果 采集结果可导出为Excel、CSV、HTML、数据库等多种格式。导出为Excel示例:     采集步骤 步骤一:打开网页 步骤二、输入关键词并搜索 步骤三、建立【循环-点击元素】,进入每个职位的详情页 步骤四、提取职位详情页中的字段 步骤五、编…

2023年9月5日 0条评论 20点热度 0人点赞 365crawadmin 阅读全文

在 第3课中,我们学会了如何采集多个列表中的数据,相信大家都已学会创建【循环-提取数据】。本节课将学习一种特殊格式的列表数据——表格数据采集。   表格是一种很常见的网页样式,例:球探网的赛事比分表,天天基金网的基金排名表,东方财富网的股票信息表,中国证券业协会的年报披露表格等等。   表格作为列表数据的特殊形式,我们可以将表格的每一行看作为列表的每一个数据的大区块范围, 表格每一行的全部单元格字段,相当于列表每个数据区块内的多个子字段。那么上节课讲的【循环-提取数据】创建方法在本课也能用。   现在有一个新浪财经…

2023年9月5日 0条评论 27点热度 0人点赞 365crawadmin 阅读全文

采集场景 在B站首页(https://www.bilibili.com/),输入关键词搜索,得到相关视频列表页,然后点击视频链接进入其详情页,采集视频详情页中的详细信息。 示例在首页输入关键词【vlog】搜索,得到搜索结果列表页网址:https://search.bilibili.com/all?keyword=vlog 。   采集字段 视频标题、总播放数、总弹幕数、发布时间、视频时长、点赞数、硬币数、收藏数、视频介绍、页面网址等字段。     鼠标放到图片上,右键,选择【在新标签页中打开图片】可查看高清大图 下…

2023年9月5日 0条评论 67点热度 0人点赞 365crawadmin 阅读全文

看过 八爪鱼软件安装与账号注册 教程,我们已注册好账号、登录进入八爪鱼客户端。 现在来看看客户端界面吧!    鼠标放到图片上,右键,选择【在新标签页中打开图片】可查看高清大图 下文其他图片同理   一、【输入框】和【热门模板采集】   【输入框】:输入网址或者网站名称,开始数据采集。 输入网址:进入【自定义配置采集数据】模式,详情请查看  自定义配置采集数据(含智能识别) 输入网站名称:查找内置的相关网站模板,进入【通过模板采集数据】模式,详情请查看 使用模板采集数据   【热门采集模板】:展示热门的采集模板,点…

2023年9月5日 0条评论 36点热度 0人点赞 365crawadmin 阅读全文