本例演示的是文件下载、FTP文件上传等功能。 分析 打开某网站移动版的热搜榜单，网址为 https://m.---.cn/?vt=4&pos=108&sudaref=sina.cn 。通过浏览器的开发者工具，可以看到网络请求 https://m.---.cn/api/container/getIndex?containerid=102803&openApp=0 为榜单内容，json格式。 采集规则 新建一个采集规则，命名为“图片下载测试&r…
后羿采集器支持Webhook功能，通过使用该功能，后羿采集器可以将采集到的数据实时发布到用户的HTTP地址，用户需要自行开发Webhook接收端代码。 Webhook的设置在启动任务的设置中，具体如下图所示： 开启Webhook功能之后，采集到的数据将以JSON格式进行发送。在任务采集结束时会发送一个采集结束的事件通知。 Webhook以HTTP POST的方式发送数据到用户的HTTP地址。 HTTP Header为"Content-Type: application/json; charset=utf-8"。 用…
后羿采集器支持图像识别功能，可以识别图像中的文字，但是并非所有图像都可以识别，大家可以先进行测试，如果测试不成功，说明你遇到的情况暂时无法支持。 我们以智能模式中采集后羿采集器官网教程页为例，流程图模式的设置方式与此相同。 如下图所示，我们可以看到标题字段中有很多乱码，这是因为我们在网页中使用了图片替代了文字，这些图片在网页中和其他文字看起来是一样的，但是采集下来时就会变成乱码。 此时我们可以右击字段，然后在识别格式中选择“内容乱码”。 之后在字段上会出现“识别”按钮。 点击“识别”按钮，软件会进行图像识别，识别结…
起始网址目前支持四种导入方式，下面介绍数据库导入功能： 数据库导入支持mysql以及sqlserver两种数据库类型， 在使用此功能时需要填写数据库相应的连接信息，以及所需信息所在数据库、表以及列信息。 若所在列需要有where条件查询，如下图，where条件写在数据查询语句中，需要注意的是，不需要写where此关键词，直接写具体条件语句即可
一.功能介绍: 采集器运行任务时候，通过访问指定的网页来获取cookie进行调用。 使用场景： 1，cookie失效后无法正常采集的规则，通过设置该功能实现自动获取网页cookie调用，从而达到不需要再手动更换cookie，规则可以正常自动运行采集。 2，一些网站需要在本地浏览器中打开页面浏览从而…
如下图： 编辑标签界面，文件下载选项，勾选探测文件并下载，会把采集到的任何格式的文件附件下载下来，包含常见的图片。 顺便说下其他选项： “将相对地址补全为绝对地址”：勾选这个，会把标签采集到相对地址补全为绝对地址。 “下载图片”：采集器是不认识什么是图片的，只要代码格式是<img src=”图片地址”/>采集器才认为这个是图片，仅仅是图片的地址，勾选这个是不会下载的，很多用户都没有明白这点。 “探测文件真实地址但不下载”：有时候采集到的附件下载地址，其实不是真实的的下载地址，点击后是会有跳转的，勾选这个…
在采集网站时，如果目标网站有防采集机制，那么就无法达到批量采集的目的，这里介绍下火车采集器中的二级代理功能，可以在火车采集器中调用代理IP以及拨号功能 一.二级代理功能 二级代理功能分为两种类型：固定代理以及商业代理，下面介绍下，使用二级代理功能前需要先进行的设置： 1.设置 [代理验证网页及数据缓存设置]：点击如图向下箭头可设置此步骤，此步骤是用于验证代理IP是否可用。原理是通过设置代理IP访问地址，若是能正常返回设定的字符，则代理IP验证通过。 这…
对于会更新数据的网站，如果可以通过一个字段判断该网页数据是否更新，则可以编写存储过程来实现，数据库中已有数据的更新，然后新增数据直接插入数据库的功能： 存储过程语句如下： CREATE DEFINER=`root`@`%` PROCEDURE `yhaves`(IN `gaame` VARCHAR(50), IN `plorm` VARCHAR(50), IN `serrea` VARCHAR(200)) LANGUAGE SQL …
