采集场景 进入搜狗微信首页,(https://weixin.sogou.com/),采集【热门】分类下的文章列表数据。同时,点击每一篇文章的链接,进入文章详情页,采集文章正文和图片。 采集字段 标题、文章链接、封面图、简介、来源、发布时间、正文、图片链接。 鼠标放到图片上,右键,选择【在新标签页中打开图片】可查看高清大图 下文其他图片同理 采集结果 采集结果可导出为Excel、CSV、HTML、数据库等多种格式。导出为Excel示例: 教程说明 本篇制作时间:2020/4/24 …
采集场景 进入搜狗微信首页,(https://weixin.sogou.com/),采集【热门】分类下的文章列表数据。同时,点击每一篇文章的链接,进入文章详情页,采集文章正文和图片。 采集字段 标题、文章链接、封面图、简介、来源、发布时间、正文、图片链接。 鼠标放到图片上,右键,选择【在新标签页中打开图片】可查看高清大图 下文其他图片同理 采集结果 采集结果可导出为Excel、CSV、HTML、数据库等多种格式。导出为Excel示例: 教程说明 本篇制作时间:2020/4/24 …
功能简介 任务正在运行云采集的时候,可以查看当前运行详情;任务运行了多次云采集的时候,可以查看历史运行记录。 使用版本限制 云采集(团队版及以上版本)可使用此功能,旧套餐旗舰版及以上版本可使用。 一、查看云采集详情 在任务列表,点击任务云采集的【详情】,进入该任务当前的(任务正在运行)或者最近一次的(任务运行完成)云采集详情页面,查看任务概览、子任务、运行任务日志和运行子任务。 1、任务概览 任务云采集情况总括:任务状态(运行中、已停止、已完成)、采集进度(进度条)、开始时间、结束时间、耗时、采…
采集场景 打开雪球网 https://xueqiu.com/,页面显示雪球热帖列表,点击每一个帖子的标题可进入详情页,查看并采集详情页里面的数据内容。 采集字段 帖子作者、标题、文章内容、发布时间、评论数、评论者、评论内容、评论时间等。 点击查看高清大图,下文其他图片同理 采集结果 采集结果可导出为Excel、CSV、HTML、数据库等多种格式。导出为Excel示例: 教程说明 本篇制作时间:2022/6/10 八爪鱼版本:V8.5.2 如果因网页改版造成网址或步骤无效,无法收集到目标数据…
很多网页使用了Ajax 技术,针对这种网页,我们需在八爪鱼中进行Ajax设置。 一、什么是Ajax? Ajax (Asynchronous JavaScript and XML) :异步JavaScript 和XML。 Ajax是一种在无需重新加载整个网页的情况下,更新部分网页的技术。 通过在后台与服务器进行少量数据交换,Ajax 可以使网页实现异步更新。传统的网页(不使用 Ajax)如果需要更新内容,必须重新加载整个网页页面。 二、如何判断网页是否使用了Ajax技术? Ajax网页有2个明显特征:…
采集场景 今日头条上有很多头条号,实例网址:https://www.toutiao.com/c/user/52255723016/#mid=52255723016,是头条号【北青网】的主页。主页上展示其发布的文章列表。点击文章标题链接,可进入文章详情页,查看文章正文(文字+图片)。 采集字段 文章标题、文章链接、发布时间、阅读数、评论数等字段。 鼠标放到图片上,右键,选择【在新标签页中打开图片】可查看高清大图 下文其他图片同理 采集结果 采集结果可导出为Excel,CSV,HTML,数据库等多种格…
采集场景 采集某个微博博主主页的博文数据,实例地址https://weibo.com/u/3261134763 https://weibo.com/2656274875?refer_flag=1001030103_ 采集字段 粉丝数、关注数、全部微博数、发布时间、博文内容、分享数、评论数、点赞数 采集结果 采集结果可导出为Excel、CSV、HTML、数据库等多种格式。 教程说明 本篇更新时间:2023/03/28 八爪鱼版本:V8.6 如因网页改版导致网址或步骤无效,无法收集到目标数据,请…
采集场景 京东商品详情页中的评价,有多个分类:【全部评价】、【晒图】、【视频晒单】、【追评】、【好评】、【中评】、【差评】。其中【全部评价】默认展现,其他需点击后展现。本文以按【差评】筛选采集为例讲解。实例网址:https://item.jd.com/100005185609.html;https://item.jd.com/100006607505.html;https://item.jd.com/100004770263.html。 采集字段 用户名、评价正文、颜色、内存、评论时间、店铺名称、星级。 …