网页上的数据情况十分复杂。以京东商品列表页为例，每个列表项的字段个数并非完全一致。   如下图所示：第2、4、5个商品列表有【自营】字段，第1、3个是没有【自营】字段的。 在采集第1、3个商品列表时，找不到【自营】字段，本条数据如何处理？下文将具体说明。 示例网址：https://search.jd.com/Search?keyword=%E6%89%8B%E6%9C%BA&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&wq=%E6%89%8B%…

在进行数据采集时，可能会遇到这样的情况：采集结果中有重复数据。 八爪鱼提供两种数据去重方式，满足不同程度的去重需求。   一、按整条数据去重（默认）   ​在数据采集完成后，系统有一套默认的去重机制：某一行数据（一行数据即一条数据）的全部字段内容与其他行内全部字段内容都相同，则认为该行数据是重复数据，去重后仅保留重复数据中的第1条。   例1：第1、4条数据全部字段内容都相同，它们是重复数据，去重后仅保留第1条数据。     二、按字段去重（需手动设置，8.1.16及以上版本支持）   在制作规则时，可以设置按字段…

八爪鱼采集到的数据，支持导出到SqlServer数据库中。可手动导出，也按照设置的定时导出计划，自动导出。 本教程将以云采集数据，演示手动/自动导出到SqlServer数据库中的具体步骤。   一、手动导出具体步骤   在任务采集完毕之后，将采集得到的数据，手动导出到数据库中。 本地采集和云采集数据，均可手动导出。   Step1：先在您的SqlServer数据库中，建好数据库和数据表。   Step2：在【我的任务】中，选择一个要导出的任务，点击【更多操作】→【查看数据】→【云采集数据】，找到此任务已采集到的云数…

八爪鱼采集到的数据，支持导出到Oracle数据库中。可手动导出，也按照设置的定时导出计划，自动导出。 本教程将以云采集数据，演示手动/自动导出到Oracle数据库中的具体步骤。   准备工作：安装Oracle依赖组件   在正式导出到Oracle数据库前，需先安装Oracle依赖组件，否则点击【导出到Oracle】会提示：     Oracle依赖组件安装步骤如下：   Step1：下载Oracle依赖组件的ZIP文件 64位：https://www.oracle.com/database/technologies…

八爪鱼采集到的数据，支持导出到Mysql数据库中。可手动导出，也按照设置的定时导出计划，自动导出。 本教程将以云采集数据，演示手动/自动导出到Mysql数据库中的具体步骤。   一、手动导出具体步骤   在任务采集完毕之后，将采集得到的数据，手动导出到数据库中。 本地采集和云采集数据，均可手动导出。   Step1：先在您的Mysql中，建好数据库和数据表。   Step2：在【我的任务】中，将鼠标移动到任务上，任务采集状态右侧会出现全部按钮，点击即可进入查看采集到的数据，这里点击云采集右侧的全部，查看全部云采集数…

八爪鱼8.4.8版本增加了本地采集升级了加速模式，采集界面有较大优化。 本教程将详细介绍8.4.8版本本地采集界面。   一、普通模式 首先根据自定义入门教程，配置一个采集任务，（这里小八配置了一个当当图书采集的任务，用来给大家演示。）任务配置完成后点击页面右上角的采集，在弹出的启动选项中选择【普通模式】 启动采集后就是本地采集的界面，先整体的来看一下   下面详细介绍每一个页面的内容 1.默认页面，上半部分显示任务的状态：已采集到的数据、重复数据量、采集用时、平均速度等，下半部分显示的是当前采集到的具体数据。 右…

一、连接数据库问题   1、在连接数据库时提示：无法连接到指定的数据库，详细信息：Keyword not supported.参数名：!!!Charset。   问题原因：请检查数据库密码是否包含了特殊符号 解决方法：建议密码修改为：字母和数字组合。       二、导入数据库问题   1、提示：Invalid column type from bcp client for colid x.(从 bcp 客户端收到一个对 colid x 无效的列长度)   问题原因：datatable(数据表中)中的colid列x…

一、云采集是什么？   云采集是指，使用由八爪鱼提供的云服务进行数据采集。八爪拥有5000+云服务器，7*24小时运行云采集服务。 我们在本地电脑上将任务配置完成，测试没有问题以后，就可以选择启动八爪鱼的云采集。 注意，团队版以上用户自带云采集功能。什么是团队版？点击查看 版本套餐 。   二、云采集优势   与【本地采集】对比，【云采集】具有以下优势： 1、采集速度更快。 2、实现无人值守。可关闭电脑、软件进行数据采集，真正实现无人值守。 3、定时采集。云服务器是7*24小时，可设置任务的定时启动工作。 4、数据…

通过八爪鱼云采集，可以实现多个任务并发采集，极大提高采集效率。 云采集原理是什么？什么样的规则可实现云加速？本文将详细讲解。   一、云采集原理 云采集是指，使用由八爪鱼提供的云服务集群进行数据采集。八爪鱼拥有5000+云服务器，7*24小时不间断运行（一台云服务器可看做一个云节点）。   八爪鱼的采集任务运行在云节点上时： a. 在满足可拆分的情况下，1个任务最多拆成100个子任务。（3类任务可拆分，下文将详细讲解） b. 1个任务/子任务需占用一个云节点进行采集。也就是说，1个云节点同时只能运行一个任务/子任务…

功能简介 任务正在运行云采集的时候，可以查看当前运行详情；任务运行了多次云采集的时候，可以查看历史运行记录。   使用版本限制 云采集（团队版及以上版本）可使用此功能，旧套餐旗舰版及以上版本可使用。     一、查看云采集详情 在任务列表，点击任务云采集的【详情】，进入该任务当前的（任务正在运行）或者最近一次的（任务运行完成）云采集详情页面，查看任务概览、子任务、运行任务日志和运行子任务。     1、任务概览 任务云采集情况总括：任务状态（运行中、已停止、已完成）、采集进度（进度条）、开始时间、结束时间、耗时、采…