PHPcms发布模块中 如何获取到全局变量 打开自己的phpcms后台的网站,如图 网址链接后缀hash= 即为全局变量 复制进 即可获取到栏目列表

2023年9月4日 0条评论 37点热度 0人点赞 365crawadmin 阅读全文

   OSS上传功能为将火车采集器下载的附件、图片等文件传送到阿里云对象存储OSS中,便于使用阿里云存储的客户进行数据的管理。    下面介绍下具体用法以及选项含义: (1)填写服务器信息中所需的oss配置信息。        oss服务器地址:根据自己服务器的地域节点填写,需要注意这里的地址是地域节点,而不是Bucket节点地址,不要填写错误哦。      &nbs…

2023年9月4日 0条评论 59点热度 0人点赞 365crawadmin 阅读全文

获取当前采集页的网址,可以按下面设置, 正则提取规则为: ^(?<content>[\s\S]*?)$ 

2023年9月4日 0条评论 57点热度 0人点赞 365crawadmin 阅读全文

采集器运行后提示后提示一下信息 请下载当前文件 ,解压后替换到system文件夹下即可

2023年9月4日 0条评论 41点热度 0人点赞 365crawadmin 阅读全文

   火车采集器企业版本软件是专门提供给多人协同使用的版本,因此有多种便于管理的功能,而其中的远程管理功能是其中的重要功能点。   远程管理功能使用方便,但是一开始的接口界面较简单,因此在此次V9版本中做了一个较大的改版,将界面、性能以及功能都做了优化改动,下面介绍下详细的功能介绍以及使用方法。   一.功能介绍    远程管理功能允许用户在本地启动一个服务接口,该接口可以实现对火车采集器的软件的远程管理,比如对任务进行新建、…

2023年9月4日 0条评论 63点热度 0人点赞 365crawadmin 阅读全文

火车采集器二级代理功能,默认是会对获取的代理IP进行一个验证,验证IP是否起效,这样有助于进行IP的筛选,剔除失效IP。 但有些客户有一些特殊的需求,并不需要提前验证IP的真实性,因此开发出这种免验证代理IP的功能,导入的IP直接就显示通过的状态,不会通过我们软件自带的验证功能,导入的IP立刻就能使用,及时性更高。

2023年9月4日 0条评论 77点热度 0人点赞 365crawadmin 阅读全文

 火车采集器可以抓取http以及https请求中的内容,因此只要手机APP是这两种请求类型,那么其中的内容理论上就是可以抓取的。下面介绍下怎么抓取手机APP的请求。下面以苹果手机中的京东APP为例: (1)查看fiddler的端口号为多少,例下图: (2)查看本地局域网的固定IP为多少,例下图: (3)在手机中设置代理服务器,将端口号以及IP写入,例下图: 如上图设置好后,就可以将fiddler保持Capturing的状态,然后操作京东的APP,就可以看到其中的请求了,如下图: 然后你就可以在采集器中做规…

2023年9月4日 0条评论 32点热度 0人点赞 365crawadmin 阅读全文

火车浏览器导出的cookie是所有打开页面的cookie,而火车采集器在调用该cookie时,若有多个相同的key ,则以最上面的key为准,如下图: 则这可能会导致火车采集器调用未登录的key ,导致无法采集登录后的内容。想要解决这种问题,有一下两种方式: 1.登录前,调用Cookie操作,清空火车浏览器中cookie 2.若清空cookie后,还是有相同的key ,则需先导出cookie至文本中,然后使用文件操作读取文本中cookie至list 变量,使用变量清理功能清除list变量中无效的key 。然后将li…

2023年9月4日 0条评论 56点热度 0人点赞 365crawadmin 阅读全文

  下面介绍下火车采集器二级代理功能,我们按照实际在规则中设置的方式来介绍下如何在火车采集器中使用二级代理列表 1.获取IP 获取ip有三种方式: (1)手动添加:可以手动添加不同类型的IP,并添加用户名密码 (2)文本导入:通过文本导入,文本中IP一行一个保存,然后点击导入按钮保存即可 (3)商业代理IP导入 首先,我们要[点击启用]。然后使用商业代理网站提供的api网址来获取代理IP,一行一个的格式即可,比如如图,在浏览器中打开该网址(这类api是由代理IP网站提供的api接口),可以获取到两个一行一…

2023年9月4日 0条评论 42点热度 0人点赞 365crawadmin 阅读全文

        1. 当采集器在服务器无法登陆时,如果抓包分析请求接口返回502状态码,可以尝试关闭防火墙放行918端口,浏览器请求地址 http://115.29.224.93:918/,看看是否可以正常打开。 2. 如若还是登陆失败,请检查本地“本地安全策略”中的“IP安全策略”,是否有建立新的IP安全策略,如果有直接把“策略已指派”改为“否”即可正常登陆采集器(修改方式:新建的ip安全策略记录上右击,菜单里面有个“所有任务选线”设置为“否”…

2023年9月4日 0条评论 54点热度 0人点赞 365crawadmin 阅读全文