有时候,我们有大量同类网页,希望八爪鱼能自动采集每个网页中的数据。通过设置【URL循环】,可实现此需求。   什么是同类网页?结构相同、字段差不多的网页。例:   京东商品详情页: https://item.jd.com/1138288.html https://item.jd.com/27305099378.html https://item.jd.com/46339353993.html   豆瓣电影详情页: https://movie.douban.com/subject/26387939/ https://…

2023年9月5日 0条评论 32点热度 0人点赞 365crawadmin 阅读全文

采集场景 打开东方财富网【定向增发股】类目的网页:http://data.eastmoney.com/other/dxzf.html ,采集页面上显示的股票信息。    采集字段 股票简称、基金代码、发行方式、发行总数、发行价格、最新价、发行日期、增发上市日期、锁定期、股票代码详情链接、当前采集时间等字段。   点击查看高清大图,下文其他图片同理     采集结果 采集结果可导出为Excel、CSV、HTML、数据库等多种格式。导出为Excel示例:     采集步骤   步骤一、打开网页 步骤二、创建【循环-提取…

2023年9月5日 0条评论 15点热度 0人点赞 365crawadmin 阅读全文

在 客户端界面介绍 里,我们简单讲了数据采集的2种模式:【使用模板采集数据】和【自定义配置采集数据】。 本文将详细讲解【使用模板采集数据】,【自定义配置采集数据】可点击开始学习 。   一、使用【使用模板采集数据】 顾名思义,【采集模板】是由八爪鱼官方提供的、做好的采集模板,目前已有200+采集模板,涵盖主流网站的采集场景。模板数还在不断增加。 【使用模板采集数据】时,只需输入几个参数(网址、关键词、页数等),就能在几分钟内快速获取到目标网站数据。(类似PPT模板,只需修改关键信息就能直接使用,无需自己从头配置。)…

2023年9月5日 0条评论 24点热度 0人点赞 365crawadmin 阅读全文

    为了让更多的用户实现采集需求,满足对网页图片、文档等文件下载等场景的期待,在八爪鱼8.5.2版本上线了【文件下载】功能。大家不仅可以使用八爪鱼采集所需数据,还可以在采集的过程中下载网页上的文件,包括图片、音频、视频、文档等多种格式。 采集过程中,当用户需要采集网页中的图片、文档等各类文件时,八爪鱼可智能识别文件类型并提供下载选项,帮助用户一次性获取所需数据及文件。 【文件下载】功能支持图片、音频、视频、文档等多种格式的文件下载,例如:    但需要注意目前八爪鱼【文件下载】功能仅支持本地采集模式,云采集文件…

2023年9月5日 0条评论 30点热度 0人点赞 365crawadmin 阅读全文

八爪鱼采集到的数据,支持导出到Mysql数据库中。可手动导出,也按照设置的定时导出计划,自动导出。 本教程将以云采集数据,演示手动/自动导出到Mysql数据库中的具体步骤。   一、手动导出具体步骤   在任务采集完毕之后,将采集得到的数据,手动导出到数据库中。 本地采集和云采集数据,均可手动导出。   Step1:先在您的Mysql中,建好数据库和数据表。   Step2:在【我的任务】中,将鼠标移动到任务上,任务采集状态右侧会出现全部按钮,点击即可进入查看采集到的数据,这里点击云采集右侧的全部,查看全部云采集数…

2023年9月5日 0条评论 31点热度 0人点赞 365crawadmin 阅读全文

在学习本教程之前,您需要具备八爪鱼基础操作和XPath相关知识,如果还未掌握,请先学习以下课程。 自定义模式入门:https://www.bazhuayu.com/tutorial8/xsrm/81zdyrm XPath 系统学习与实例:https://www.bazhuayu.com/tutorial8/81xpath   一、相对XPath 相对Xpath,即相对于循环框的Xpath,有两个典型特征:跟随循环联动;与循环框的XPath合并成一条完整的定位XPath。 有两种常见应用场景:提取循环内的数据;提取循…

2023年9月5日 0条评论 37点热度 0人点赞 365crawadmin 阅读全文

采集场景 在携程网点击【攻略】-【游记】,采集【游记】类目下的游记内容。 示例网址:https://you.ctrip.com/travels/chengdu104/3966766.html               https://you.ctrip.com/travels/henan100058/3968107.html   采集字段 页面地址、发表时间、标题、喜欢数、评论数、浏览数、城市、天数、时间、人均、和谁、游记目录、游记正文    点击查看高清大图,下文其他图片同理     采集结果 采集结果可导出为…

2023年9月5日 0条评论 27点热度 0人点赞 365crawadmin 阅读全文

有很多网站,需要输入关键词查询,然后采集查询后得到的结果数据。   例如:在京东首页搜索框中输入商品名称搜索,采集搜索后得到的商品信息;在新闻网站的搜索框中,输入热门关键词,采集搜索后得到的最新资讯。   在八爪鱼中该如何操作呢?来看一下具体的操作步骤。   一、输入1个关键词查询   示例网址:https://www.jd.com 采集需求:在京东首页,输入关键词【手机】,采集出现的手机商品数据。   Step1. 输入网址打开网页。选中网页中的文本输入框,在提示框中选择【输入文字】,输入关键词【手机】,按【确定…

2023年9月5日 0条评论 16点热度 0人点赞 365crawadmin 阅读全文

采集场景 在孔夫子旧书网搜索页面:http://search.kongfz.com/product_result/,输入图书的关键词(含ISBN)搜索,搜索后得到图书列表,然后从列表点击图书链接进入详情页,采集详情页数据。 ISBN是专门为识别图书等文献而设计的国际编号,如果使用的是ISBN搜索,则搜索结果都是关于某本特定书籍的。   采集字段 作者、书名、售价、定价、库存、品相、出版时间等字段。     点击查看高清大图,下文其他图片同理     采集结果 采集结果可导出为Excel、CSV、HTML、数据库等多…

2023年9月5日 0条评论 55点热度 0人点赞 365crawadmin 阅读全文

�采集场景 在AliExpress(速卖通) 首页中 http://www.aliexpress.com 中输入关键词,采集关键词搜索后得到的商品列表信息。   采集字段 关键词、标题、商品id、商品图片地址、商品详情链接、价格、免费退送货、星级、已出售数量、店铺名     点击查看高清大图,下文其他图片同理     采集结果 采集结果可导出为Excel、CSV、HTML、数据库等多种格式。导出为Excel示例:     教程说明 如果因网页改版造成网址或步骤无效,无法收集到目标数据,请联系官方客服,我们将及时修正…

2023年9月5日 0条评论 26点热度 0人点赞 365crawadmin 阅读全文
1234513