网页上的数据情况十分复杂。以京东商品列表页为例,每个列表项的字段个数并非完全一致。   如下图所示:第2、4、5个商品列表有【自营】字段,第1、3个是没有【自营】字段的。 在采集第1、3个商品列表时,找不到【自营】字段,本条数据如何处理?下文将具体说明。 示例网址:https://search.jd.com/Search?keyword=%E6%89%8B%E6%9C%BA&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&wq=%E6%89%8B%…

2023年9月5日 0条评论 38点热度 0人点赞 365crawadmin 阅读全文

在进行数据采集时,可能会遇到这样的情况:采集结果中有重复数据。 八爪鱼提供两种数据去重方式,满足不同程度的去重需求。   一、按整条数据去重(默认)   ​在数据采集完成后,系统有一套默认的去重机制:某一行数据(一行数据即一条数据)的全部字段内容与其他行内全部字段内容都相同,则认为该行数据是重复数据,去重后仅保留重复数据中的第1条。   例1:第1、4条数据全部字段内容都相同,它们是重复数据,去重后仅保留第1条数据。     二、按字段去重(需手动设置,8.1.16及以上版本支持)   在制作规则时,可以设置按字段…

2023年9月5日 0条评论 33点热度 0人点赞 365crawadmin 阅读全文

八爪鱼采集到的数据,支持导出到SqlServer数据库中。可手动导出,也按照设置的定时导出计划,自动导出。 本教程将以云采集数据,演示手动/自动导出到SqlServer数据库中的具体步骤。   一、手动导出具体步骤   在任务采集完毕之后,将采集得到的数据,手动导出到数据库中。 本地采集和云采集数据,均可手动导出。   Step1:先在您的SqlServer数据库中,建好数据库和数据表。   Step2:在【我的任务】中,选择一个要导出的任务,点击【更多操作】→【查看数据】→【云采集数据】,找到此任务已采集到的云数…

2023年9月5日 0条评论 35点热度 0人点赞 365crawadmin 阅读全文

八爪鱼采集到的数据,支持导出到Oracle数据库中。可手动导出,也按照设置的定时导出计划,自动导出。 本教程将以云采集数据,演示手动/自动导出到Oracle数据库中的具体步骤。   准备工作:安装Oracle依赖组件   在正式导出到Oracle数据库前,需先安装Oracle依赖组件,否则点击【导出到Oracle】会提示:     Oracle依赖组件安装步骤如下:   Step1:下载Oracle依赖组件的ZIP文件 64位:https://www.oracle.com/database/technologies…

2023年9月5日 0条评论 32点热度 0人点赞 365crawadmin 阅读全文

八爪鱼采集到的数据,支持导出到Mysql数据库中。可手动导出,也按照设置的定时导出计划,自动导出。 本教程将以云采集数据,演示手动/自动导出到Mysql数据库中的具体步骤。   一、手动导出具体步骤   在任务采集完毕之后,将采集得到的数据,手动导出到数据库中。 本地采集和云采集数据,均可手动导出。   Step1:先在您的Mysql中,建好数据库和数据表。   Step2:在【我的任务】中,将鼠标移动到任务上,任务采集状态右侧会出现全部按钮,点击即可进入查看采集到的数据,这里点击云采集右侧的全部,查看全部云采集数…

2023年9月5日 0条评论 32点热度 0人点赞 365crawadmin 阅读全文

八爪鱼8.4.8版本增加了本地采集升级了加速模式,采集界面有较大优化。 本教程将详细介绍8.4.8版本本地采集界面。   一、普通模式 首先根据自定义入门教程,配置一个采集任务,(这里小八配置了一个当当图书采集的任务,用来给大家演示。)任务配置完成后点击页面右上角的采集,在弹出的启动选项中选择【普通模式】 启动采集后就是本地采集的界面,先整体的来看一下   下面详细介绍每一个页面的内容 1.默认页面,上半部分显示任务的状态:已采集到的数据、重复数据量、采集用时、平均速度等,下半部分显示的是当前采集到的具体数据。 右…

2023年9月5日 0条评论 50点热度 0人点赞 365crawadmin 阅读全文

一、连接数据库问题   1、在连接数据库时提示:无法连接到指定的数据库,详细信息:Keyword not supported.参数名:!!!Charset。   问题原因:请检查数据库密码是否包含了特殊符号 解决方法:建议密码修改为:字母和数字组合。       二、导入数据库问题   1、提示:Invalid column type from bcp client for colid x.(从 bcp 客户端收到一个对 colid x 无效的列长度)   问题原因:datatable(数据表中)中的colid列x…

2023年9月5日 0条评论 35点热度 0人点赞 365crawadmin 阅读全文

一、云采集是什么?   云采集是指,使用由八爪鱼提供的云服务进行数据采集。八爪拥有5000+云服务器,7*24小时运行云采集服务。 我们在本地电脑上将任务配置完成,测试没有问题以后,就可以选择启动八爪鱼的云采集。 注意,团队版以上用户自带云采集功能。什么是团队版?点击查看 版本套餐 。   二、云采集优势   与【本地采集】对比,【云采集】具有以下优势: 1、采集速度更快。 2、实现无人值守。可关闭电脑、软件进行数据采集,真正实现无人值守。 3、定时采集。云服务器是7*24小时,可设置任务的定时启动工作。 4、数据…

2023年9月5日 0条评论 52点热度 0人点赞 365crawadmin 阅读全文

通过八爪鱼云采集,可以实现多个任务并发采集,极大提高采集效率。 云采集原理是什么?什么样的规则可实现云加速?本文将详细讲解。   一、云采集原理 云采集是指,使用由八爪鱼提供的云服务集群进行数据采集。八爪鱼拥有5000+云服务器,7*24小时不间断运行(一台云服务器可看做一个云节点)。   八爪鱼的采集任务运行在云节点上时: a. 在满足可拆分的情况下,1个任务最多拆成100个子任务。(3类任务可拆分,下文将详细讲解) b. 1个任务/子任务需占用一个云节点进行采集。也就是说,1个云节点同时只能运行一个任务/子任务…

2023年9月5日 0条评论 46点热度 0人点赞 365crawadmin 阅读全文

功能简介 任务正在运行云采集的时候,可以查看当前运行详情;任务运行了多次云采集的时候,可以查看历史运行记录。   使用版本限制 云采集(团队版及以上版本)可使用此功能,旧套餐旗舰版及以上版本可使用。     一、查看云采集详情 在任务列表,点击任务云采集的【详情】,进入该任务当前的(任务正在运行)或者最近一次的(任务运行完成)云采集详情页面,查看任务概览、子任务、运行任务日志和运行子任务。     1、任务概览 任务云采集情况总括:任务状态(运行中、已停止、已完成)、采集进度(进度条)、开始时间、结束时间、耗时、采…

2023年9月5日 0条评论 30点热度 0人点赞 365crawadmin 阅读全文
1686970717279