出现这种问题一般是由于系统的原因,下面介绍针对这种情况的解决方法: 一.由于IE未启动服务,以及.net版本不支持,下面介绍具体设置方法: (1)如下图配置IE。 (2)安装.net4.0 ,安装完成后重启电脑,然后再测试下网站是否能够采集
出现这种问题一般是由于系统的原因,下面介绍针对这种情况的解决方法: 一.由于IE未启动服务,以及.net版本不支持,下面介绍具体设置方法: (1)如下图配置IE。 (2)安装.net4.0 ,安装完成后重启电脑,然后再测试下网站是否能够采集
一.功能介绍: 采集器运行任务时候,通过访问指定的网页来获取cookie进行调用。 使用场景: 1,cookie失效后无法正常采集的规则,通过设置该功能实现自动获取网页cookie调用,从而达到不需要再手动更换cookie,规则可以正常自动运行采集。 2,一些网站需要在本地浏览器中打开页面浏览从而…
Web发布中内容发布之前的版本一直是粘贴发布中抓包的数据,然后软件自动分析表单名与表单值,但是对于一些特殊要求的发布网站,这个功能就不大好用,因此,新版本添加了新的自定义发布数据的功能,可以更方便的处理一些复杂的网站。 下面介绍下自定义数据的功能: (1)对于使用json或者其他特殊格式作为post的网站,那么就可以直接使用自定义数据。 (2)对于一些表单项个数不确定的网站。 ①比如发布商品时,有添加发布图片,发布图片有几个那么就需要添加几个表单项,那么就必须要使用自定义数据,发布的图片在采集数据的标签中就定义好,…
当火车采集器旧版本使用了9.7.1及以上版本导出的规则时,若出现了以下错误: 有两种解决方法: (1)下载最新版本使用。可以直接覆盖旧版本使用,这样不用再进行数据迁移,但是要注意旧版本要注意备份,以防数据丢失哦~~ (2) 出现这个错误的原因,是因为9.7.1的数据处理的html标签排除中加了新的标签排除项,可以先将这个“HTML标签排除”处理步骤删除,然后在旧版本中重新添加这个步骤即可~
如下图: 编辑标签界面,文件下载选项,勾选探测文件并下载,会把采集到的任何格式的文件附件下载下来,包含常见的图片。 顺便说下其他选项: “将相对地址补全为绝对地址”:勾选这个,会把标签采集到相对地址补全为绝对地址。 “下载图片”:采集器是不认识什么是图片的,只要代码格式是<img src=”图片地址”/>采集器才认为这个是图片,仅仅是图片的地址,勾选这个是不会下载的,很多用户都没有明白这点。 “探测文件真实地址但不下载”:有时候采集到的附件下载地址,其实不是真实的的下载地址,点击后是会有跳转的,勾选这个…
多网站站群式发布,指选择多个发布配置时,同一条数据不会重复发布至一个网站中: 发布条件:假设有3个发布配置A,B,C,一共有20条数据1,2,3,4,5....20需要发布 下面介绍下不同发布方式下,数据的发布情况 (1) 正序发布-多网站站群式发布: 按正序顺序一条条将20条数据分配给三个配置,分配方式为: A:1,4,7,10,13,16,19 B:2,5,8,11,14,17,20 C:3,6,9,12,15,18 (2)倒序发布-多网站站群式发布:按倒序顺序一条条将20条数据分配该三个配置,分配方式为: A…
火车采集器企业版本软件是专门提供给多人协同使用的版本,因此有多种便于管理的功能,而其中的远程管理功能是其中的重要功能点。 远程管理功能使用方便,但是一开始的接口界面较简单,因此在此次V9版本中做了一个较大的改版,将界面、性能以及功能都做了优化改动,下面介绍下详细的功能介绍以及使用方法。 一.功能介绍 远程管理功能允许用户在本地启动一个服务接口,该接口可以实现对火车采集器的软件的远程管理,比如对任务进行新建、…
在采集网站时,如果目标网站有防采集机制,那么就无法达到批量采集的目的,这里介绍下火车采集器中的二级代理功能,可以在火车采集器中调用代理IP以及拨号功能 一.二级代理功能 二级代理功能分为两种类型:固定代理以及商业代理,下面介绍下,使用二级代理功能前需要先进行的设置: 1.设置 [代理验证网页及数据缓存设置]:点击如图向下箭头可设置此步骤,此步骤是用于验证代理IP是否可用。原理是通过设置代理IP访问地址,若是能正常返回设定的字符,则代理IP验证通过。 这…
我们提供的免登陆接口是可以让织梦自动提取缩略图的,因此规则中不需要勾选下载图片。我们只需要注意发布模块中的如下参数: autolitpic=1 是否提取第一个图片为缩略图,1为是,0为否,启用本项则picname应留空;picname 缩略图片路径及文件名ddisremote=0 是否远程获取缩略图片,1为是,0为否,启用本项必须使PICNAME的值为有效图片网址 如果要织梦自动提取缩略图的话,发布模块中对应参数的值设置如下:  …
火车采集器二级代理功能,默认是会对获取的代理IP进行一个验证,验证IP是否起效,这样有助于进行IP的筛选,剔除失效IP。 但有些客户有一些特殊的需求,并不需要提前验证IP的真实性,因此开发出这种免验证代理IP的功能,导入的IP直接就显示通过的状态,不会通过我们软件自带的验证功能,导入的IP立刻就能使用,及时性更高。