Web发布中内容发布之前的版本一直是粘贴发布中抓包的数据,然后软件自动分析表单名与表单值,但是对于一些特殊要求的发布网站,这个功能就不大好用,因此,新版本添加了新的自定义发布数据的功能,可以更方便的处理一些复杂的网站。 下面介绍下自定义数据的功能: (1)对于使用json或者其他特殊格式作为post的网站,那么就可以直接使用自定义数据。 (2)对于一些表单项个数不确定的网站。 ①比如发布商品时,有添加发布图片,发布图片有几个那么就需要添加几个表单项,那么就必须要使用自定义数据,发布的图片在采集数据的标签中就定义好,…

2023年9月4日 0条评论 50点热度 0人点赞 365crawadmin 阅读全文

当火车采集器旧版本使用了9.7.1及以上版本导出的规则时,若出现了以下错误: 有两种解决方法: (1)下载最新版本使用。可以直接覆盖旧版本使用,这样不用再进行数据迁移,但是要注意旧版本要注意备份,以防数据丢失哦~~ (2) 出现这个错误的原因,是因为9.7.1的数据处理的html标签排除中加了新的标签排除项,可以先将这个“HTML标签排除”处理步骤删除,然后在旧版本中重新添加这个步骤即可~

2023年9月4日 0条评论 57点热度 0人点赞 365crawadmin 阅读全文

如下图: 编辑标签界面,文件下载选项,勾选探测文件并下载,会把采集到的任何格式的文件附件下载下来,包含常见的图片。 顺便说下其他选项: “将相对地址补全为绝对地址”:勾选这个,会把标签采集到相对地址补全为绝对地址。 “下载图片”:采集器是不认识什么是图片的,只要代码格式是<img src=”图片地址”/>采集器才认为这个是图片,仅仅是图片的地址,勾选这个是不会下载的,很多用户都没有明白这点。 “探测文件真实地址但不下载”:有时候采集到的附件下载地址,其实不是真实的的下载地址,点击后是会有跳转的,勾选这个…

2023年9月4日 0条评论 33点热度 0人点赞 365crawadmin 阅读全文

多网站站群式发布,指选择多个发布配置时,同一条数据不会重复发布至一个网站中: 发布条件:假设有3个发布配置A,B,C,一共有20条数据1,2,3,4,5....20需要发布 下面介绍下不同发布方式下,数据的发布情况 (1) 正序发布-多网站站群式发布: 按正序顺序一条条将20条数据分配给三个配置,分配方式为: A:1,4,7,10,13,16,19 B:2,5,8,11,14,17,20 C:3,6,9,12,15,18 (2)倒序发布-多网站站群式发布:按倒序顺序一条条将20条数据分配该三个配置,分配方式为: A…

2023年9月4日 0条评论 57点热度 0人点赞 365crawadmin 阅读全文

   火车采集器企业版本软件是专门提供给多人协同使用的版本,因此有多种便于管理的功能,而其中的远程管理功能是其中的重要功能点。   远程管理功能使用方便,但是一开始的接口界面较简单,因此在此次V9版本中做了一个较大的改版,将界面、性能以及功能都做了优化改动,下面介绍下详细的功能介绍以及使用方法。   一.功能介绍    远程管理功能允许用户在本地启动一个服务接口,该接口可以实现对火车采集器的软件的远程管理,比如对任务进行新建、…

2023年9月4日 0条评论 64点热度 0人点赞 365crawadmin 阅读全文

   在采集网站时,如果目标网站有防采集机制,那么就无法达到批量采集的目的,这里介绍下火车采集器中的二级代理功能,可以在火车采集器中调用代理IP以及拨号功能    一.二级代理功能 二级代理功能分为两种类型:固定代理以及商业代理,下面介绍下,使用二级代理功能前需要先进行的设置: 1.设置  [代理验证网页及数据缓存设置]:点击如图向下箭头可设置此步骤,此步骤是用于验证代理IP是否可用。原理是通过设置代理IP访问地址,若是能正常返回设定的字符,则代理IP验证通过。 这…

2023年9月4日 0条评论 72点热度 0人点赞 365crawadmin 阅读全文

我们提供的免登陆接口是可以让织梦自动提取缩略图的,因此规则中不需要勾选下载图片。我们只需要注意发布模块中的如下参数: autolitpic=1   是否提取第一个图片为缩略图,1为是,0为否,启用本项则picname应留空;picname      缩略图片路径及文件名ddisremote=0   是否远程获取缩略图片,1为是,0为否,启用本项必须使PICNAME的值为有效图片网址 如果要织梦自动提取缩略图的话,发布模块中对应参数的值设置如下:       …

2023年9月4日 0条评论 66点热度 0人点赞 365crawadmin 阅读全文

火车采集器二级代理功能,默认是会对获取的代理IP进行一个验证,验证IP是否起效,这样有助于进行IP的筛选,剔除失效IP。 但有些客户有一些特殊的需求,并不需要提前验证IP的真实性,因此开发出这种免验证代理IP的功能,导入的IP直接就显示通过的状态,不会通过我们软件自带的验证功能,导入的IP立刻就能使用,及时性更高。

2023年9月4日 0条评论 77点热度 0人点赞 365crawadmin 阅读全文

插件下载地址:点击下载插件 在火车采集器中如何安装智能原创插件 第一步,使用解压软件,提取插件安装包中的文件,解压到一个文件夹中。 第二步,打开解压后的文件夹,将里面的【5118 智能原创.dll】文件,放入在【火车采集器】安装目录下的Plugins文件夹里。 第三步,将文件夹中的【5118智能原创配置工具.exe】和【Newtonsoft.Json.dll】以及【Plugin_Helper.dll】文件,放入在【火车采集器】安装目录中。 第四步,在【火车采集器】的根目录里,打开【5118 智能原创配置工具.exe…

2023年9月4日 0条评论 54点热度 0人点赞 365crawadmin 阅读全文

   OSS上传功能为将火车采集器下载的附件、图片等文件传送到阿里云对象存储OSS中,便于使用阿里云存储的客户进行数据的管理。    下面介绍下具体用法以及选项含义: (1)填写服务器信息中所需的oss配置信息。        oss服务器地址:根据自己服务器的地域节点填写,需要注意这里的地址是地域节点,而不是Bucket节点地址,不要填写错误哦。      &nbs…

2023年9月4日 0条评论 60点热度 0人点赞 365crawadmin 阅读全文
1484950515254