问题: 发布到数据库报错怎么办? 回答: 1. 连接问题总结 1)宝塔控制面板 使用此管理工具时需要注意mysql数据库访问权限设置,和远程访问端口的开放。 2) localhost、192.168.xxx.xxx 使用此类主机地址需要注意是本机需要开启MySQL服务 3)不确定报错详请 可使用navicat先确定具体报错详情 2. 字段映射问题总结 1)字段类型 仅支持数据表中字符串和整型字段的映射(如果需要映射日期字段,需要将数据表中对应字段改成字符串类型) 2)字段长度 需要注意字段长度是否可以满足本地采集的…

2023年9月5日 0条评论 54点热度 0人点赞 365crawadmin 阅读全文

在智能模式中,后羿采集器会默认按照列表类型进行识别,如果您输入网页属于单页类型,此时的页面类型识别结果肯定是不正确的;或者由于网页加载速度等其他原因,即使您输入的网页是列表类型,也可能出现识别失败的情况,此时您可以手动设置页面类型。 关于单页和列表页的介绍请参考以下教程: 什么是单页类型的网页?如何采集? 什么是列表类型的网页?如何采集? 分页设置的过程如下: “页面类型”的设置菜单如下图所示。 如果是单页类型的网页,您可以直接选择“单页类型”。 如果是列表类型的网页,您可以点击“自动识别”,软件会重新尝试识别列表…

2023年9月5日 0条评论 48点热度 0人点赞 365crawadmin 阅读全文

在流程图模式下,提取数据组件会将用户需要的数据提取出来,用户可以在这个组件内对采集字段进行设置。提取数据用于提取采集网页中的数据,该组件既可以单独使用也可以和循环组件或者判断组件搭配使用。单独使用时适合提取单页上的数据,搭配使用时,适合提取所有页面上的数据。 具体设置介绍如下: 1、修改字段名称 2、合并字段 合并字段有两种办法,一种是点击一条需要合并的字段,右击选择“合并字段”,然后在页面中选择需要合并的字段,这种方式适合两个字段的合并。在合并字段中,用户可以设置两个字段内容之间的分隔符,如果不需要分隔符,在分隔…

2023年9月5日 0条评论 27点热度 0人点赞 365crawadmin 阅读全文

如果大家在发布到数据库时遇到一些问题,请参考这个教程进行问题排查:发布到数据库常见问题 作为一款真免费的数据采集软件,我们免费提供多种导出方式,如果小伙伴们需要将采集到的数据发布到数据库SQLServer,可以按照以下操作导出。 步骤一: 数据提取完毕后在导出数据界面选择导出到SQLServer数据库选项。 步骤二: 选择本地数据库,可以创建新配置,也可以使用之前配置好的本地数据库。 创建新配置时,我们需要输入本地数据库地址、端口、用户名、密码。 如果地址或者密码什么的输入的不对,会出现Error的提示,此时需要检…

2023年9月5日 0条评论 35点热度 0人点赞 365crawadmin 阅读全文

启动任务设置完毕之后,我们点击“启动”按钮。 然后会打开任务运行界面,在这个界面上我们可以查看网页、查看运行日志、查看采集结果、开启自动导出、开启加速、暂停任务或者停止任务。 1、查看网页 点击页面上的“查看网页”按钮,可以在新打开的窗口中查看当前正在采集的网页。 在这个界面中,我们点击右上角的保存按钮,可以把这个网页保存下来,一般用于需要保存当前网页来排查遇到的问题。 2、运行日志 点击“运行日志”可以查看当前任务的运行状态。 3、查看采集结果 点击“数据”可以预览当前任务的部分采集结果。 4、暂停 点击“暂停”…

2023年9月5日 0条评论 41点热度 0人点赞 365crawadmin 阅读全文

在数据采集的时候,经常会需要倒序采集(从最后一页开始往前采集数据)的情况。本文将简单说明如何使用后羿采集器的流程图模式进行网页数据的倒序采集。 情况一:列表页翻页后,链接改变,存在最后一页链接 处理方式一:将列表页最后一页链接作为采集链接 当我们能够直接拿到网站最后一页的链接时,可以通过直接复制链接的形式,用最后一页的链接来创建采集任务。 1. 在浏览器里点击到最后一页,复制最后一页的链接。 2. 创建一个流程图模式采集任务。 3. 流程图模式识别到列表后软件会提示是否需要识别下一页按钮,根据操作提示,手动点选识别…

2023年9月5日 0条评论 37点热度 0人点赞 365crawadmin 阅读全文

后羿采集器,基于人工智能技术,无需编程,可视化操作,免费导出采集结果,只需输入网址就能自动识别采集内容的数据采集工具。 简介 DEDECMS是一款开源的内容管理系统(CMS)。它是由中国的开发者团队DreamSoft开发和维护的,旨在为用户提供一个简单易用、功能丰富的网站建设和内容管理解决方案。

2023年9月5日 0条评论 40点热度 0人点赞 365crawadmin 阅读全文

后羿采集器,基于人工智能技术,无需编程,可视化操作,免费导出采集结果,只需输入网址就能自动识别采集内容的数据采集工具。 简介 CSV是一种常见的文件格式,用于存储和交换简单的表格数据。CSV文件使用纯文本形式表示数据,每个字段之间使用逗号进行分隔。它广泛用于数据导入和导出、数据库交互、电子表格和数据分析等领域。由于CSV文件的通用性和普及性,它成为了数据交换的一种标准格式。在CSV文件中,每一行表示一个记录,每个字段表示一个数据项,字段的顺序和数量在整个文件中保持一致。CSV文件可以用文本编辑器打开和编辑,也可以通…

2023年9月5日 0条评论 44点热度 0人点赞 365crawadmin 阅读全文

后羿采集器,基于人工智能技术,无需编程,可视化操作,免费导出采集结果,只需输入网址就能自动识别采集内容的数据采集工具。 简介 CKAN是一个开源的数据管理系统,它专门用于管理和发布开放数据。它的全称是Comprehensive Knowledge Archive Network,旨在帮助机构、政府和个人组织、发布、共享和查找数据集。

2023年9月5日 0条评论 42点热度 0人点赞 365crawadmin 阅读全文

后羿采集器,基于人工智能技术,无需编程,可视化操作,免费导出采集结果,只需输入网址就能自动识别采集内容的数据采集工具。 简介 MODX是一个开源的内容管理系统(CMS)和Web应用框架,旨在为用户提供灵活性、自由度和创造性,使他们能够轻松地构建、管理和扩展他们的网站。

2023年9月5日 0条评论 40点热度 0人点赞 365crawadmin 阅读全文
1232425262729