我们在提取一批相似网址时，页面中的字段一般是在同一位置，通过同一条定位XPath可以将其全部匹配到。 但是存在这样一种情况，同一字段在不同页面的位置略有不同。此时，我们可以尝试通过备用位置解决。例如，一个字段，在A页面和B页面的位置不同，那么可以用A页面字段的位置做规则提取字段，然后将B页面字段的位置设为备用位置。这样，AB两个页面的字段就都能被提取到。   示例网站： https://www.alibaba.com/product-detail/Clothes-Clothes-Dresses-Women-Fall…

采集场景 采集某城市的百姓网日租短租房屋信息（示例网址（百姓网东营日租房）： https://dongying.baixing.com/duanzu/m5828/）    采集字段 出租人名称、标题、价格、发布时间、详情介绍、房屋地址、页面网址等字段   点击图片可查看高清大图，下文其他图片同理    采集结果 采集结果可导出为Excel，CSV，HTML，数据库等多种格式。导出为Excel示例：       教程说明 本篇制作时间：2021/1/19    八爪鱼版本：V8.2.6 如果因网页改版造成网址或步骤无…

有很多网站，需要向下滚动页面，才能加载出新数据。那相对应的，在八爪鱼中也需设置【页面滚动】。 适用场景：将滚动条直接下来到网页底部，出现类似【加载中】字样，稍后马上有新数据出现，且滚动条变短回弹。 常见的网页：澎湃新闻首页、今日头条首页、百度图片搜索、新浪微博首页，都是这种情况。     鼠标放到图片上，右键，选择【在新标签页中打开图片】可查看高清大图 下文其他图片同理   以澎湃新闻首页为例。https://www.thepaper.cn/，我们需采集新闻列表数据。就需要在打开网页后不断向下滚动，加载新数据。  …

采集场景 今日头条是重要的新闻资讯网站，首页（https://www.toutiao.com/）默认展示最新的新闻列表，点击新闻标题，可进入新闻详情页，查看每条新闻的详情页数据。   采集字段 标题、来源、时间、正文、图片url等字段。     鼠标放到图片上，右键，选择【在新标签页中打开图片】可查看高清大图 下文其他图片同理    采集结果 采集结果可导出为Excel，CSV，HTML，数据库等多种格式。导出为Excel示例：     教程说明 本篇更新时间：2022/6/18   八爪鱼版本：V8.5.2 如果…

采集场景 我们一般通过搜狗微信（https://weixin.sogou.com/），去采集微信公众号文章。搜狗微信支持【公众号搜索】，通过输入公众号名称/ID，可搜索到目标公众号，查看目标公众号相关信息（公众号ID、微信号、功能介绍、微信认证）和其最新发布的一篇文章（文章标题和文章链接），点击文章链接可进入文章详情页，查看文章正文（文字+图片）。   采集字段 公众号名称、微信号、功能介绍、微信认证公司名、文章标题、文章来源、文章作者、发布日期、文章正文。     鼠标放到图片上，右键，选择【在新标签页中打开图片…

采集场景 打开京东商品详情页（实例网址：https://item.jd.com/100016944073.html ），采集点击不同的参数（颜色、版本等）后得到的数据（商品编号、价格、主图链接等字段会随着参数变化而变化）。     鼠标放到图片上，右键，选择【在新标签页中打开图片】可查看高清大图 下文其他图片同理   采集字段 商品标题、颜色、版本、价格、商品名称、商品编号、图片网址等。   采集结果 采集结果可导出为Excel、CSV、HTML、数据库等多种格式。导出为Excel示例：       教程说明 本篇…

八爪鱼是基于网址进行数据采集的。支持从本地文件导入网址、根据规律批量生成网址、从已有任务导入网址   一、从本地文件导入网址 新建【自定义任务】，选择从【文件导入】，再选择已有的网址文件，就可以大批量导入。导入之后，可以预览前100条网址。 再点击【保存设置】，即可开始任务配置。     注意： ① 支持csv、xls、xlsx、txt文件格式批量导入网址 ② 支持100w以内网址 ，超过的自动删除   二、批量生成网址 网址中一般有很多参数，根据网址参数的变化规律，可批量生成网址。   1、网址参数中出现数字变化…

八爪鱼提供两套API接口，均可以获取通过八爪鱼采集到的数据，实现秒级导出； 获取任务信息，无需启动八爪鱼客户端即可控制任务启停；无缝对接企业的内部系统。 第一套接口今后将不再更新，为提升您今后的使用体验，推荐您使用第二套API接口。   第一套API接口 :   于2018年4月上线，分为 数据导出API 主域名：https://dataapi.bazhuayu.com/  和 任务控制API  主域名：https://advancedapi.bazhuayu.com/     第二套API接口 ： 于2021年1…

我们在采集数据过程中，可能会出现字段提取不到、字段错位等情况。其中一个重要的原因就是对字段的定位不准。 可通过自定义定位元素的方式，修改字段定位XPath，对数据的位置进行正确的定位。 请注意，本教程需要一定的XPath知识和相对XPath知识，建议在学习XPath和相对XPath后，再看本教程。 XPath：https://www.bazhuayu.com/tutorial8/81xpath 相对XPath：https://www.bazhuayu.com/tutorial8/81xpath   提取数据一般分为…

采集场景 在股吧中输入某一批股票的网址，打开其对应的股吧，会展示很多讨论帖。点击每个讨论帖进入详情页，采集详情页的帖子信息和评论信息。 示例网址：http://guba.eastmoney.com/list,300869.html               http://guba.eastmoney.com/list,002108.html    采集字段 股吧名称、帖子作者名称、发布时间、文章标题、文章内容、评论者、评论时间、评论内容等内容。   点击查看高清大图，下文其他图片同理     采集结果 采集结果可…