最新版的采集器中新增加了对于http二级代理的API请求功能,下面介绍一下这个功能如何添加。 首先您需要找到一家代理IP,该代理需提供通过API获取IP的功能,下面来设置http功能 1.打开http二级代理服务器,点击批量导入。 2.点击添加按钮。直接将生成的API地址放入火车采集器地址栏处(图中画圆圈处)注意,生成的API必须是json格式,若是提供的默认正则格式不能正确获取到代理,那么需要您根据获取的Ip格式重新编写匹配正则表达式 3.勾选开启定时刷新,设置好时间后采集器会定时请求API来获取最新的IP地址。…

2023年9月4日 0条评论 54点热度 0人点赞 365crawadmin 阅读全文

示例网址:58游泳卡第一页:http://bj.58.com/youyongka/ 采集其中电话号码步骤为: (1)下载相应版本的58电话号码插件,下面以V9为示例:下载地址为:http://faq.locoy.com/q-1217.html。下载后按教程放在采集器下 (2)在采集器中建立一个标签  名为  “手机号码” ,在网址源代码中找到验证码图片的地址,并在采集器中写前后字符,如下图   (3)测试运行 (4)正式运行示例:

2023年9月4日 0条评论 39点热度 0人点赞 365crawadmin 阅读全文

软件启动报错如下图,下载下列文件解压后将LocoySpider.exe.config直接放在火车采集器的安装根目录下,然后再次启动软件 下载文件:点击下载链接

2023年9月4日 0条评论 38点热度 0人点赞 365crawadmin 阅读全文

  区间变化的变化原理为:地址中的两个参数以固定的间隔进行增长,并且相邻两组值的结束值与起始值间隔为1,以这种形式变化增长的地址格式可以使用区间变化来处理。 比如以https://www.powerchina.cn/col/col7440/index.html?uid=46098&pageNum=1,网址为例,我们使用fiddler抓包网址变化如下: 第一页:https://www.powerchina.cn/module/web/jpage/dataproxy.jsp?startrecord=1…

2023年9月4日 0条评论 51点热度 0人点赞 365crawadmin 阅读全文

采集器运行后提示后提示一下信息 请下载当前文件 ,解压后替换到system文件夹下即可

2023年9月4日 0条评论 42点热度 0人点赞 365crawadmin 阅读全文

本次教程使用模拟器示例为夜神模拟器,下面具体介绍下设置方法: (1)下载夜神模拟器,然后按照提示安装。下载地址:https://www.yeshen.com/ (2)安装fiddler,安装后,打开fiddler查看fiddler端口号: (3)快捷键win+R。然后搜索cmd,打开后,输入ipconfig,查看本机IPV4的地址: (4)在模拟器中根据端口号以及IPV4地址设置代理: 设置→点击WLAN→鼠标点击wifi位置,长按左键,会出现一个修改网络的弹窗→高级选项,代理选择手动→填入IPV4地址以及fidd…

2023年9月4日 0条评论 132点热度 0人点赞 365crawadmin 阅读全文

 人工智能-AI对话功能是一个语言模型,可以模拟AI对话,进行问题解答,您可以对采集的数据通过对话的形式进行伪原创、数据提取、数字计算等等等,更多应用场景等您发掘哦~ 一、界面介绍 (1) 创意性:用来调节生成文本的创造性和多样性的一个参数。它影响了生成的文本在语法和语义上的多样性程度。更高生成的文本更加多样化和创造性但相应的可能会产生不太符合逻辑或常识的文本。更低生成的文本更加稳定和一致,但可能会过于保守,导致生成的文本变得相对可预测和缺乏新意。一般场景下保持于0.7到1.0之间,当然您可以根据您的实际…

2023年9月4日 0条评论 41点热度 0人点赞 365crawadmin 阅读全文

 自动分析表格中列名以及循环采集列中数值,下面以:http://www.bjtzh.gov.cn/bjtz/home/jrcj/index.shtml,网站为例演示使用方法: 1.首先在请求源码中找到表格的前后字符,注意这里的字符要包含整个表格,包括列名列值,不要缺少内容 2.在火车采集器其他设置中设置范围,并点击测试自动生成标签。然后就会分析代码生成对应标签,任务保存即可。

2023年9月4日 0条评论 41点热度 0人点赞 365crawadmin 阅读全文

采集器9.4.3.0619新增采集预警功能,如下图 该功能是:当采集完成后,如果采集结果符合预设条件时,向指定邮箱发送预警邮件。 预设条件可选择为: 发送邮件注意事项: 1.发邮件的邮箱必须要开通POP/IMAP 2.发送邮件的类型是SMTP,不同种类邮箱的服务器端口以及非SSL协议端口号是不同的,下面以163邮箱为例: 其他的邮箱如何开通POP/IMAP,以及发送邮件的SMTP的服务器地址等信息,大家可以百度搜索一下,这里就不一一讲解了。 3.设置邮箱后,可以测试发送邮箱内容,如果测试发布报错,因为邮箱报错返回的…

2023年9月4日 0条评论 44点热度 0人点赞 365crawadmin 阅读全文

我们用http://www.ccgp-shanxi.gov.cn/view.php?app=&type=&nav=100&page=1做测试,图中的名称,地区和状态是我要的值,我只要当前列表的数据 这是需要采集的源码信息 我们把上图中的源码复制到采集器里面 把对应的值都设置好 之后我们测试看看采集结果如何 我们再来看看列表页独立标签的用法,点开网址采集右下角的高级设置会有列表页独立标签,之后我们以标题为例,采集一下当前列表页的一个标题和列表页采集的原标题对比看看有什么区别 我们可以看到这个列…

2023年9月4日 0条评论 62点热度 0人点赞 365crawadmin 阅读全文