后羿采集器,基于人工智能技术,无需编程,可视化操作,免费导出采集结果,只需输入网址就能自动识别采集内容的数据采集工具。 简介 在数据采集中,”代理IP” 是指通过使用代理服务器来隐藏或更改真实的IP地址,以访问目标网站或服务器。
最新版的采集器中新增加了对于http二级代理的API请求功能,下面介绍一下这个功能如何添加。 首先您需要找到一家代理IP,该代理需提供通过API获取IP的功能,下面来设置http功能 1.打开http二级代理服务器,点击批量导入。 2.点击添加按钮。直接将生成的API地址放入火车采集器地址栏处(图中画圆圈处)注意,生成的API必须是json格式,若是提供的默认正则格式不能正确获取到代理,那么需要您根据获取的Ip格式重新编写匹配正则表达式 3.勾选开启定时刷新,设置好时间后采集器会定时请求API来获取最新的IP地址。…
火车采集器二级代理功能,默认是会对获取的代理IP进行一个验证,验证IP是否起效,这样有助于进行IP的筛选,剔除失效IP。 但有些客户有一些特殊的需求,并不需要提前验证IP的真实性,因此开发出这种免验证代理IP的功能,导入的IP直接就显示通过的状态,不会通过我们软件自带的验证功能,导入的IP立刻就能使用,及时性更高。
下面介绍下火车采集器二级代理功能,我们按照实际在规则中设置的方式来介绍下如何在火车采集器中使用二级代理列表 1.获取IP 获取ip有三种方式: (1)手动添加:可以手动添加不同类型的IP,并添加用户名密码 (2)文本导入:通过文本导入,文本中IP一行一个保存,然后点击导入按钮保存即可 (3)商业代理IP导入 首先,我们要[点击启用]。然后使用商业代理网站提供的api网址来获取代理IP,一行一个的格式即可,比如如图,在浏览器中打开该网址(这类api是由代理IP网站提供的api接口),可以获取到两个一行一…
在采集网站时,如果目标网站有防采集机制,那么就无法达到批量采集的目的,这里介绍下火车采集器中的二级代理功能,可以在火车采集器中调用代理IP以及拨号功能 一.二级代理功能 二级代理功能分为两种类型:固定代理以及商业代理,下面介绍下,使用二级代理功能前需要先进行的设置: 1.设置 [代理验证网页及数据缓存设置]:点击如图向下箭头可设置此步骤,此步骤是用于验证代理IP是否可用。原理是通过设置代理IP访问地址,若是能正常返回设定的字符,则代理IP验证通过。 这…