八爪鱼采集到的数据，支持导出到SqlServer数据库中。可手动导出，也按照设置的定时导出计划，自动导出。 本教程将以云采集数据，演示手动/自动导出到SqlServer数据库中的具体步骤。   一、手动导出具体步骤   在任务采集完毕之后，将采集得到的数据，手动导出到数据库中。 本地采集和云采集数据，均可手动导出。   Step1：先在您的SqlServer数据库中，建好数据库和数据表。   Step2：在【我的任务】中，选择一个要导出的任务，点击【更多操作】→【查看数据】→【云采集数据】，找到此任务已采集到的云数…

采集场景 58同城的民宿短租版块，发布民宿短租的房源信息。本篇教程将详细讲解如何采集这些房源信息，并支持切换城市采集。   采集字段 城市、标题、出租人、位置、价格、标题链接、坐标等。     采集结果 采集结果可导出为Excel，CSV，HTML，数据库等多种格式。导出为Excel示例：     教程说明 本篇更新时间：2021/1/13   八爪鱼版本：V8.2.6 如果因网页改版造成网址或步骤无效，无法收集到目标数据，请联系官方客服，我们将及时修正。   采集步骤 步骤一：打开网页 步骤二、提取数据 步骤三、…

采集场景 在天眼查搜索页面（https://www.tianyancha.com/search），选择条件查询，得到条件查询后的结果列表页。实例网址：https://www.tianyancha.com/search?base=bj&companyType=normal_company，是选择了2个查询条件（省份地区：北京市；机构类型：企业）后得到的列表页。然后点击企业链接进入详情页，采集企业详情页的数据。     鼠标放到图片上，右键，选择【在新标签页中打开图片】可查看高清大图 下文其他图片同理   采集…

 经过前几课的学习，我们已经掌握了列表数据、表格数据、点击多个链接后的详情页数据、实现翻页 的任务配置方法。   在此基础上，本课将详解八爪鱼的采集原理和流程执行逻辑，让大家对八爪鱼采集数据的方法有一个更深入的理解。   一、八爪鱼采集原理   1、模拟人的行为，通过内置Chrome浏览器浏览网页数据。   所以采集数据的第一步永远是找到目标网址并输入。这跟通过普通浏览器访问网页完全一样。 在普通浏览器中需要点击链接进入详情、点击翻页按钮查看更多数据，在八爪鱼中也需如此操作。   2、根据网页特性和采集需求，设计采…

采集场景 在爱采购搜索页面 https://b2b.baidu.com/ 输入关键词搜索，然后采集搜索后得到的多个商品列表数据。   采集字段 商品名称、余量、产品标签、价格、产地、厂家名称、商品图片链接等字段。   点击查看高清大图，下文其他图片同理     采集结果 采集结果可导出为Excel、CSV、HTML、数据库等多种格式。导出为Excel示例：     教程说明 本篇制作时间：2022/6/15   八爪鱼版本：V8.5.2 如果因网页改版造成网址或步骤无效，无法收集到目标数据，请联系官方客服，我们将及…

采集场景 在Amazon首页（https://www.amazon.com）输入关键词搜索，采集搜索后得到的商品列表数据。实例网址   https://www.amazon.com/s?k=Apple&ref=nb_sb_noss_2，是搜索关键词 Apple后得到的商品列表页。   采集字段 商品标题、图片URL、商品链接、商品价格、商品评分、评论数等字段。     鼠标放到图片上，右键，选择【在新标签页中打开图片】可查看高清大图 下文其他图片同理   采集结果 采集结果可导出为Excel，CSV，HTM…

云采集监控预警平台   平台简介  八爪鱼「云采集监控预警」上线，通过平台可查看账号节点使用情况、采集数据量等，同时可对任务设置监控，从而实现对任务的监控预警。   使用版本限制 仅限企业版用户使用。   一、进入云采集监控预警平台   1.进入平台 a.可直接访问https://jk.bazhuayu.com/后登录账号密码   b.下载官网的8.5.1以上的版本安装打开，点击客户端左侧【工具】-【云采集监控预警】按钮进入  

一、如何解决网页空白   在编辑采集流程步骤中，我们可能会遇到浏览器窗口的网页变成空白的页面。例如从列表页面点击进入详情页，在详情页提取数据时，浏览器中的网页就变成空白页 about:blank。     （浏览器窗口空白01）   这是因为【点击元素】（或【点击列表链接】）的【高级设置】中勾选了【在新标签中打开】，而导致的。   （浏览器窗口空白02）   有些网页的点击并不是开标签的，而ajax加载的（什么是ajax，请参考：Ajax网页设置方法）。   所以对这类网页空白的情况，我们可以通过不勾选【在新标签中…

在进行数据采集时，可能会遇到这样的情况：采集结果中有重复数据。 八爪鱼提供两种数据去重方式，满足不同程度的去重需求。   一、按整条数据去重（默认）   ​在数据采集完成后，系统有一套默认的去重机制：某一行数据（一行数据即一条数据）的全部字段内容与其他行内全部字段内容都相同，则认为该行数据是重复数据，去重后仅保留重复数据中的第1条。   例1：第1、4条数据全部字段内容都相同，它们是重复数据，去重后仅保留第1条数据。     二、按字段去重（需手动设置，8.1.16及以上版本支持）   在制作规则时，可以设置按字段…

我们通过创建【循环列表】去采集多个列表或详情页的数据。创建【循环列表】的方式在 新手入门系列课程 中有详细讲过。     一般情况下，通过以上方法创建的【循环列表】不会出错，能够精准采集到全部数据。 但有时候我们点击了列表页某一项数据之后，点击“选中全部”，但是循环定位到的数据并没有包含咱们要的所有数据项，这个时候可以通过手动修改xpath，让循环定位到咱们所有需要的数据， 这就是我们本节课所要讲的内容。   实例网址：https://www.haodf.com/hospital/list.html   基础操作：…