如果大家在发布到数据库时遇到一些问题,请参考这个教程进行问题排查:发布到数据库常见问题 作为一款真免费的数据采集软件,我们免费提供多种导出方式,如果小伙伴们需要将采集到的数据发布到数据库PostgreSQL,可以按照以下操作导出。 步骤一: 数据提取完毕后在导出数据界面选择导出到PostgreSQL数据库选项。 步骤二: 选择本地数据库,可以创建新配置,也可以使用之前配置好的本地数据库。 创建新配置时,我们需要输入本地数据库地址、端口、用户名、密码。 如果地址或者密码什么的输入的不对,会出现not-alive的提示…

2023年9月5日 0条评论 68点热度 0人点赞 365crawadmin 阅读全文

采集场景 在中国天气网页面 http://www.weather.com.cn/forecast/循环点击,采集点击后展示的多个地区的天气列表数据。           采集字段 地区、发布时间、风力、日间天气、夜间天气、温度、详情网址等字段。   采集结果 采集结果可导出为Excel,CSV,HTML,数据库等多种格式。导出为Excel示例:         教程说明 本篇制作时间:2022/2/27    八爪鱼版本:V8.5.1.21611   采集步骤  步骤一、打开网页 步骤二、创建【循环点击-提取】,采…

2023年9月5日 0条评论 37点热度 0人点赞 365crawadmin 阅读全文

问题: 后羿采集器能采什么数据? 回答: 后羿采集器是一款通用的网页数据采集软件,通过内置浏览器访问网页并采集数据,满足以下2个条件的数据均可采集:①网页上公开显示的数据,包含通过账号密码登录后可以查看到的数据。②可以用鼠标复制粘贴下来的数据、网页上没显示但是网页HTML源码中有的数据。 【温馨提示】采集过程中请遵守Robots协议,请勿使用后羿采集器采集任何个人隐私数据,请勿非法使用采集到的数据。为了保护您的隐私,您所有的任务及配置都以加密形式存储于云端,除了您个人外任何人都无法查看具体的内容,您在采集过程中输入…

2023年9月5日 0条评论 56点热度 0人点赞 365crawadmin 阅读全文

如果大家在发布到数据库时遇到一些问题,请参考这个教程进行问题排查:发布到数据库常见问题 作为一款真免费的数据采集软件,我们免费提供多种导出方式,如果小伙伴们需要将采集到的数据发布到数据库MongoDB,可以按照以下操作导出。 步骤一: 数据提取完毕后在导出数据界面选择导出到MongoDB数据库选项。 步骤二: 选择本地数据库,可以创建新配置,也可以使用之前配置好的本地数据库。 创建新配置时,我们需要输入本地数据库地址、端口、用户名、密码、数据库名。 如果地址或者密码什么的输入的不对,会出现not-alive的提示,…

2023年9月5日 0条评论 55点热度 0人点赞 365crawadmin 阅读全文

采集场景 在维基百科网页面 https://zh.wikipedia.org/wiki循环输入多个关键词,采集搜索后展示的多个名词解释的详细数据。       采集字段 岛屿、位置、坐标、群岛、面积 、最高海拔、最高点、人口等字段。   采集结果 采集结果可导出为Excel,CSV,HTML,数据库等多种格式。导出为Excel示例:       教程说明 本篇制作时间:2022/2/28    八爪鱼版本:V8.5.1.21611   采集步骤  步骤一、打开网页 步骤二、批量输入多个关键词并搜索 步骤三、提取检索…

2023年9月5日 0条评论 84点热度 0人点赞 365crawadmin 阅读全文

问题: 后羿采集器能采集XX行业的数据吗? 回答: 可以,我们软件是一款采集网页数据的通用软件。所以首先需明确XX行业的数据存在于哪个网站上。例如,电商行业的数据在电商网站上有,那么采集电商行业的数据,就转化成采集电商网站了。 此时可以参考以下问题: 后羿采集器能采什么数据? 【温馨提示】为了保护您的隐私,您所有的任务及配置都以加密形式存储于云端,除了您个人外任何人都无法查看具体的内容,您在采集过程中输入的账号密码以及您的采集结果都存在您的本地电脑中。但请您严格遵守相关的法律法规,若后羿采集器官方收到任何关于非法采…

2023年9月5日 0条评论 66点热度 0人点赞 365crawadmin 阅读全文

1、连接问题总结 (1)宝塔控制面板 使用此管理工具时需要注意mysql数据库访问权限设置,和远程访问端口的开放。 (2) localhost、192.168.xxx.xxx 使用此类主机地址需要注意是本机需要开启MySQL服务 (3)不确定报错详请 可使用navicat先确定具体报错详情 2、字段映射问题总结 (1)字段类型 仅支持数据表中字符串和整型字段的映射(如果需要映射日期字段,需要将数据表中对应字段改成字符串类型) (2)字段长度 需要注意字段长度是否可以满足本地采集的数据长度 3、导出中的错误日志总结:…

2023年9月5日 0条评论 56点热度 0人点赞 365crawadmin 阅读全文

采集场景 在智联招聘地区招聘搜索页(https://sou.zhaopin.com/?jl=765), 输入关键词搜索(示例中的搜索关键词为【爬虫工程师】),搜索后得到招聘信息列表页。点击职位链接,进入职位详情页,采集详情页数据。   采集字段 职位名称、职位薪资、职位描述、职位链接等。     鼠标放到图片上,右键,选择【在新标签页中打开图片】可查看高清大图 下文其他图片同理   采集结果 采集结果可导出为Excel、CSV、HTML、数据库等多种格式。导出为Excel示例:     采集步骤 步骤一:打开网页 …

2023年9月5日 0条评论 38点热度 0人点赞 365crawadmin 阅读全文

采集场景 空天院遥感数据服务系统页面 http://eds.ceode.ac.cn/nuds/freedataquery设置查询条件,采集查询展示的卫星数据。             采集字段 数据标识 、卫星和传感器、 成像时间 、链接等字段。       采集结果 采集结果可导出为Excel,CSV,HTML,数据库等多种格式。导出为Excel示例:           教程说明 本篇制作时间:2022/2/27    八爪鱼版本:V8.5.1.21611   采集步骤  步骤一、打开网页 步骤二、设置筛选条件…

2023年9月5日 0条评论 51点热度 0人点赞 365crawadmin 阅读全文

问题: 后羿采集器能采集QQ邮箱 / 用户浏览数据 / 卖家信息 / 客户数据吗? 回答: 后羿采集器的原理和复制粘贴类似,理论上来说只要是网页上或者是源代码里有的数据都能够采集。 但是您需要的QQ邮箱/用户浏览数据/卖家信息/客户数据等数据,这些数据属于敏感数据,是违法的,后羿采集器官方不提供任何形式的采集指导。

2023年9月5日 0条评论 63点热度 0人点赞 365crawadmin 阅读全文
1678910