采集场景 在智联招聘地区招聘搜索页(https://sou.zhaopin.com/?jl=765), 输入关键词搜索(示例中的搜索关键词为【爬虫工程师】),搜索后得到招聘信息列表页。点击职位链接,进入职位详情页,采集详情页数据。   采集字段 职位名称、职位薪资、职位描述、职位链接等。     鼠标放到图片上,右键,选择【在新标签页中打开图片】可查看高清大图 下文其他图片同理   采集结果 采集结果可导出为Excel、CSV、HTML、数据库等多种格式。导出为Excel示例:     采集步骤 步骤一:打开网页 …

2023年9月5日 0条评论 30点热度 0人点赞 365crawadmin 阅读全文

在数据采集过程中,我们可能有这样的需求:第一次采集所有数据,后续再采集的时候只需要采集网页上新增的数据。 自动采集新增数据的需求,可以通过八爪鱼的定时云采集配合多种策略实现,以下将结合实例详细讲解。 注意:定时云采集是八爪鱼采集器团队版及以上版本才具有的功能(旧套餐旗舰版及以上版本),详情请看 版本介绍 。   实例网址:http://www.gdgpo.gov.cn/queryMoreInfoList/channelCode/0008.html 采集需求:定时采集广东省政府采购网列表中新增的公告标题、标题链接和发…

2023年9月5日 0条评论 31点热度 0人点赞 365crawadmin 阅读全文

八爪鱼采集到的数据,支持导出到Oracle数据库中。可手动导出,也按照设置的定时导出计划,自动导出。 本教程将以云采集数据,演示手动/自动导出到Oracle数据库中的具体步骤。   准备工作:安装Oracle依赖组件   在正式导出到Oracle数据库前,需先安装Oracle依赖组件,否则点击【导出到Oracle】会提示:     Oracle依赖组件安装步骤如下:   Step1:下载Oracle依赖组件的ZIP文件 64位:https://www.oracle.com/database/technologies…

2023年9月5日 0条评论 31点热度 0人点赞 365crawadmin 阅读全文

采集场景 采集黄河口信息港的短租房信息。   采集字段 区域、标题、标题链接、出租人、价格、位置等。     点击图片可查看高清大图,下文其他图片同理    采集结果 采集结果可导出为Excel,CSV,HTML,数据库等多种格式。导出为Excel示例:     教程说明 本篇制作时间:2021/1/13    八爪鱼版本:V8.2.6 如果因网页改版造成网址或步骤无效,无法采集到目标数据,请联系官方客服,我们将及时修正。   采集步骤   步骤一、打开网页 步骤二、自动识别 步骤三、设置点击步骤,进入详情页 步骤…

2023年9月5日 0条评论 42点热度 0人点赞 365crawadmin 阅读全文

采集场景 在携程网点击【攻略】-【目的地攻略】- 【选择目的地】-【选择景点】,采集目的地景点下的评论。 示例网址:https://you.ctrip.com/sight/bole922/5500.html               https://you.ctrip.com/sight/lijiang32/3049.html   采集字段 景点名、级别、总评分、评论数、景点地址、开放时间、景点介绍、整体景色、整体趣味、整体性价比、用户名、评分、景色、趣味、性价比、评论正文、评论时间。     点击查看高清大图,…

2023年9月5日 0条评论 38点热度 0人点赞 365crawadmin 阅读全文

采集场景 在百度首页 https://www.baidu.com/  输入关键词搜索,采集搜索后得到的搜索结果。     采集字段 标题、网页链接、简介   采集结果 采集结果可导出为Excel,CSV,HTML,数据库等多种格式。导出为Excel示例:     教程说明 本篇更新时间:2022/6/9    八爪鱼版本:V8.5.2 如果因网页改版造成网址或步骤无效,无法采集到目标数据,请联系官方客服,我们将及时修正。   采集步骤 步骤一、打开网页 步骤二、批量输入多个关键词并搜索 步骤三、创建【循环翻页】,采…

2023年9月5日 0条评论 36点热度 0人点赞 365crawadmin 阅读全文

采集场景 孔夫子旧书网有非常多的类目,本教程讲解如何分类目采集图书列表页数据。 示例网址 http://book.kongfz.com/Cjishu/n1004000000/ 是【图书-工程技术-改革开放与80年代】类目的网址。   采集字段 书名、出版社、店铺名称、发货地址、品相、售价等字段。       点击查看高清大图,下文其他图片同理     采集结果 采集结果可导出为Excel、CSV、HTML、数据库等多种格式。导出为Excel示例:     教程说明 本篇制作时间:2022/6/08   八爪鱼版本:…

2023年9月5日 0条评论 21点热度 0人点赞 365crawadmin 阅读全文

采集场景 采集Amazon商品详情页数据。Amazon商品详情页实例网址:https://www.amazon.com/dp/B07R7DY911。   采集字段 title、brand、stars、ratings、questions、price、details、productdimensions、itemweight、shippingweight、asin、itemmodelnumber、bestsellerrank、stock 等。   鼠标放到图片上,右键,选择【在新标签页中打开图片】可查看高清大图 下文其他…

2023年9月5日 0条评论 28点热度 0人点赞 365crawadmin 阅读全文

什么是防采集?   用大白话来说,就是我们想利用工具采集某个网站的数据(前提当然是公开合法数据),但网站不想给你采集而设置的技术阻挡措施。     网站常见的防采集套路有哪些?     防采套路1:输入验证码框验证   采集难度:★☆☆☆☆ 常见网站:搜狗微信   在采集某些网站过程中,爪子们是不是经常会遇到这样的情况,要求你输入验证码,否则就卡住进行不下去?   对的,这是网站最常用且最基础的防采措施之一,它要求你必须你手动输入验证码里的数字和字母,才能继续看到更多信息或者进行下一步,以此来判断你是机器人还是真人…

2023年9月5日 0条评论 25点热度 0人点赞 365crawadmin 阅读全文

云采集排错教程   本教程针对本地采集有数据,云采集没有数据的排错教程,如果本地采集没有数据,请先参考本地采集排错教程 本地采集有数据,云采集没有数据主要原因为以下几点:   1.防采集 2.网站或网速原因 3.网络环境不同,源码有变,原xpath定位不准 4.网站只允许单浏览器或单IP登录     一、防采集 防采集主要是以下三类:IP被封禁止访问、出现验证码、云上需要登录 针对以上三种情况,都可以通过采集网页的html源码进行观察,这里我们以百姓网招聘数据采集为例。如下图1所示启动云采集后子任务出现采集为0的情…

2023年9月5日 0条评论 29点热度 0人点赞 365crawadmin 阅读全文
1234513