User-Agent 即用户代理,简称“UA”,它是一个特殊字符串头。网站服务器通过识别 “UA”来确定用户所使用的操作系统版本、CPU 类型、浏览器版本等信息。而网站服务器则通过判断 UA 来给客户端发送不同的页面。 由于网站会对UA进行过滤,有些老旧的UA会打不开该网页。此时就可以通过切换不同的UA来打开网页。以下教程讲解如何获取浏览器中的UA,以及将获得的UA保存在八爪鱼中。 方法一:以Chrome(谷歌)浏览器为例,在地址栏输入about:version,即可出现如下信息。图中的【用户代理】即【User-A…

2023年9月5日 0条评论 21点热度 0人点赞 365crawadmin 阅读全文

问题: 采集结果数量和在浏览器中看到的数量不一致导致采集不全怎么办? 回答: 采集器中能看到的数据量是跟Chrome浏览器的无痕模式相对应的,建议是先在Chrome的无痕模式进行测试,看看浏览器里具体能显示多少数据。

2023年9月5日 0条评论 42点热度 0人点赞 365crawadmin 阅读全文

在后羿采集器的智能模式下,我们在智能识别窗口可以对浏览器的模式进行设置。如下图所示: 后羿采集器支持两种浏览器模式: (1)电脑浏览器模式 (2)手机浏览器模式 那么这两种该如何选择呢? 如果某些网页的内容在电脑浏览器和手机浏览器模式下会有区别,而且你需要采集的数据在这两种浏览器模式下的某一种中才有,那么你可以切换到相应的浏览器模式,然后再开始采集。  

2023年9月5日 0条评论 20点热度 0人点赞 365crawadmin 阅读全文

在后羿采集器的流程图模式下,我们在识别窗口可以对浏览器的模式进行设置。如下图所示: 后羿采集器支持两种浏览器模式: (1)电脑浏览器模式 (2)手机浏览器模式 那么这两种该如何选择呢? 首先电脑浏览器模式和手机浏览器模式的区别在于,某些网页的内容在电脑浏览器和手机浏览器模式下会有区别,如果你需要采集的数据在这两种浏览器模式下的某一种中才有,那么你可以切换到相应的浏览器模式,然后再开始采集。

2023年9月5日 0条评论 23点热度 0人点赞 365crawadmin 阅读全文

火车浏览器导出的cookie是所有打开页面的cookie,而火车采集器在调用该cookie时,若有多个相同的key ,则以最上面的key为准,如下图: 则这可能会导致火车采集器调用未登录的key ,导致无法采集登录后的内容。想要解决这种问题,有一下两种方式: 1.登录前,调用Cookie操作,清空火车浏览器中cookie 2.若清空cookie后,还是有相同的key ,则需先导出cookie至文本中,然后使用文件操作读取文本中cookie至list 变量,使用变量清理功能清除list变量中无效的key 。然后将li…

2023年9月4日 0条评论 56点热度 0人点赞 365crawadmin 阅读全文

目前大多数浏览器都会自带开发者工具(一般按f12即可出现),网页的cookie以及网址打开后加载的各类信息都是可以看到的。 下面以谷歌浏览器为例: 1.在谷歌浏览器里打开http://www.sd-portygzc.com/jyxx/project.html网址 这个网址点击分页时,会发现网址是不变,这个就是典型的需要抓包真实链接的post网址。 2.从右上角自定义控制里打开开发者工具或者直接按f12运行, 3.开启工具后,点击翻页后,工具里出现了个链接,这个就是网址的翻页的请求信息 4.有些网址翻页请求的信息是不…

2023年9月4日 0条评论 52点热度 0人点赞 365crawadmin 阅读全文