火车浏览器导出的cookie是所有打开页面的cookie,而火车采集器在调用该cookie时,若有多个相同的key ,则以最上面的key为准,如下图: 则这可能会导致火车采集器调用未登录的key ,导致无法采集登录后的内容。想要解决这种问题,有一下两种方式: 1.登录前,调用Cookie操作,清空火车浏览器中cookie 2.若清空cookie后,还是有相同的key ,则需先导出cookie至文本中,然后使用文件操作读取文本中cookie至list 变量,使用变量清理功能清除list变量中无效的key 。然后将li…

2023年9月4日 0条评论 56点热度 0人点赞 365crawadmin 阅读全文

一.功能介绍:        采集器运行任务时候,通过访问指定的网页来获取cookie进行调用。 使用场景:        1,cookie失效后无法正常采集的规则,通过设置该功能实现自动获取网页cookie调用,从而达到不需要再手动更换cookie,规则可以正常自动运行采集。        2,一些网站需要在本地浏览器中打开页面浏览从而…

2023年9月4日 0条评论 44点热度 0人点赞 365crawadmin 阅读全文

目前大多数浏览器都会自带开发者工具(一般按f12即可出现),网页的cookie以及网址打开后加载的各类信息都是可以看到的。 下面以谷歌浏览器为例: 1.在谷歌浏览器里打开http://www.sd-portygzc.com/jyxx/project.html网址 这个网址点击分页时,会发现网址是不变,这个就是典型的需要抓包真实链接的post网址。 2.从右上角自定义控制里打开开发者工具或者直接按f12运行, 3.开启工具后,点击翻页后,工具里出现了个链接,这个就是网址的翻页的请求信息 4.有些网址翻页请求的信息是不…

2023年9月4日 0条评论 52点热度 0人点赞 365crawadmin 阅读全文