采集场景 在百度图片首页(http://image.baidu.com/)输入关键词搜索,采集得到的图片地址。示例是搜索关键词【三清山】得到的图片。   采集字段 搜索关键词、图片地址、图片保存文件路径。   鼠标放到图片上,右键,选择【在新标签页中打开图片】可查看高清大图 下文其他图片同理   采集结果 采集结果可导出为Excel,CSV,HTML,数据库等多种格式。导出为Excel示例:     教程说明 本篇制作时间:2022/6/30    八爪鱼版本:V8.5.4 如果因网页改版造成网址或步骤无效,无法采…

2023年9月5日 0条评论 69点热度 0人点赞 365crawadmin 阅读全文

采集场景 在豆瓣电影首页(https://movie.douban.com/)输入关键词搜索,得到相关电影列表页。实例网址:https://search.douban.com/movie/subject_search?search_text=%E6%88%98%E7%8B%BC ,是输入关键词【战狼】后得到的电影列表页。然后点击电影链接,进入电影详情页,采集详情页数据。     鼠标放到图片上,右键,选择【在新标签页中打开图片】可查看高清大图 下文其他图片同理    采集字段 电影、导演、编剧、主演、制片国家/地区…

2023年9月5日 0条评论 86点热度 0人点赞 365crawadmin 阅读全文

采集场景 在微博热搜榜(https://s.weibo.com/top/summary?Refer=top_hot&topnav=1&wvr=6)可实时查看微博热搜排名、热搜关键词和热搜数。点击每个热搜关键词可进入与其相关的微博列表页。我们需要采集以上数据。   采集字段 微博热搜排名、热搜关键词、热搜数、内容、发布时间、来源、收藏数、转发数、评论数、点赞数、采集时间和页面网址等字段。     鼠标放到图片上,右键,选择【在新标签页中打开图片】可查看高清大图 下文其他图片同理   采集结果 采集结果…

2023年9月5日 0条评论 52点热度 0人点赞 365crawadmin 阅读全文

在正式开始数据采集之前,请根据自身系统,下载安装合适的八爪鱼客户端。 本文讲解Windows客户端安装方法与常见问题汇总。   一、下载安装八爪鱼Windows客户端(8版本)   1、系统要求   Win7/Win8/Win8.1/Win10(x64位) XP系统和32位系统,请下载安装7版本   特别说明: a. 如何查看自己电脑是什么系统?找到【此电脑】,右键,选择【属性】即可查看。

2023年9月5日 0条评论 45点热度 0人点赞 365crawadmin 阅读全文

八爪鱼提供JSON采集功能,通过打开JSON网址,配置流程,能够进行JSON采集。   一、JSON是什么 JSON是一种轻量的数据交换格式,由于一些优秀的特性比如比 XML 更小、更快,更易解析和阅读,并有效地提升网络传输效率,而得到广泛使用。   二、JSON采集的优点 1、无需加载图片视频等信息,采集速度更快 2、部分网站防采集限制减少,采集更加顺畅     三、JSON采集实例   示例网址:https://b2b.baidu.com/ 需求:采集关键词为机械设备的信息地址,包括:公司名/链接/注册/产品/…

2023年9月5日 0条评论 45点热度 0人点赞 365crawadmin 阅读全文

八爪鱼8.4.8版本增加了本地采集升级了加速模式,采集界面有较大优化。 本教程将详细介绍8.4.8版本本地采集界面。   一、普通模式 首先根据自定义入门教程,配置一个采集任务,(这里小八配置了一个当当图书采集的任务,用来给大家演示。)任务配置完成后点击页面右上角的采集,在弹出的启动选项中选择【普通模式】 启动采集后就是本地采集的界面,先整体的来看一下   下面详细介绍每一个页面的内容 1.默认页面,上半部分显示任务的状态:已采集到的数据、重复数据量、采集用时、平均速度等,下半部分显示的是当前采集到的具体数据。 右…

2023年9月5日 0条评论 65点热度 0人点赞 365crawadmin 阅读全文

采集场景 点击房天下网站的【二手房】分类,采集【二手房】分类下的房屋数据。 采集时可选择目标城市,本示例以深圳二手房为例:https://sz.esf.fang.com 。   采集字段 房源名称、房屋介绍、联系人、售价、所在小区、具体地址、单位价格等。   点击查看高清大图,下文其他图片同理     采集结果 采集结果可导出为Excel、CSV、HTML、数据库等多种格式。导出为Excel示例:     教程说明 本篇制作时间:2022/6/29   八爪鱼版本:V8.5.4 如果因网页改版造成网址或步骤无效,无…

2023年9月5日 0条评论 59点热度 0人点赞 365crawadmin 阅读全文

有很多网站,是需要登录账号密码以后,才能采集到目标数据的。有的网站登录时还会需输入验证码。 针对这类网站,八爪鱼提供多种解决方法。本课将详细讲解。   方法一、浏览器模式+记住Cookie   针对需要登录的网站,我们可以先将八爪鱼切换成浏览器模式,在浏览器模式下完成登录。然后通过获取Cookie记住登录状态。这样,八爪鱼 能在执行采集任务时,直接以登录状态打开网页,然后再采集数据。   场景一:输入账号、密码登录   以豆瓣网为例, 登录网址为:https://www.douban.com 实际要采集数据的网址为…

2023年9月5日 0条评论 39点热度 0人点赞 365crawadmin 阅读全文

有时候,我们有大量同类网页,希望八爪鱼能自动采集每个网页中的数据。通过设置【URL循环】,可实现此需求。   什么是同类网页?结构相同、字段差不多的网页。例:   京东商品详情页: https://item.jd.com/1138288.html https://item.jd.com/27305099378.html https://item.jd.com/46339353993.html   豆瓣电影详情页: https://movie.douban.com/subject/26387939/ https://…

2023年9月5日 0条评论 51点热度 0人点赞 365crawadmin 阅读全文

采集场景 打开东方财富网【定向增发股】类目的网页:http://data.eastmoney.com/other/dxzf.html ,采集页面上显示的股票信息。    采集字段 股票简称、基金代码、发行方式、发行总数、发行价格、最新价、发行日期、增发上市日期、锁定期、股票代码详情链接、当前采集时间等字段。   点击查看高清大图,下文其他图片同理     采集结果 采集结果可导出为Excel、CSV、HTML、数据库等多种格式。导出为Excel示例:     采集步骤   步骤一、打开网页 步骤二、创建【循环-提取…

2023年9月5日 0条评论 23点热度 0人点赞 365crawadmin 阅读全文
15678913