用爬虫，千万不能触碰的三条底线！

爬虫一直是一种有效的数据采集方式，但从技术层面来说，它并不是一种完全符合规则的技术，根据国内现有的法律和司法实践，它有可能违反了以下几个方面的法律规定。

一、反不公平竞争法维度

如果没有得到被爬行者的许可，那么就会破坏 Robots的规则。Robots是一种由机器人编程实现的，它是一种由机器人和被爬行者在攀爬过程中进行交流的方法。十二个公司于2012年11月1号联合发布了《互联网搜索引擎服务自律公约》，该公约规定所有的公司必须严格按照 Robots的规则行事。

在实际操作中， Robots协定虽然不在12个公司的管辖之内，但在网络搜索领域， Robots协定也是一种公认的商业伦理：北京市一中院在一起网络公司不正当竞争事件中，以业界认可的 Robots协定作为网络搜索领域的一项公认的商业伦理。

尽管在网上公布的资料难以形成企业机密，但是，因为有些资料可以采用技术手段，只对个别使用者开放，所以网路上的资料仍然具有一定的保密性质，从而构成了企业机密。

二、知识产权维度

文章、图片、评论、网站本身的资料库等都存在着具有原创性的行为。获取和利用这些资料，有可能会对版权造成侵害，尤其是版权和互联网的版权。由于获取资料的行为实质上是拷贝资料，所以这种做法有侵犯版权人版权的风险。从数据抽取和利用的角度来看，如果黑客在自己的站点上发布了相关的信息，那么将会对其进行更多的侵害。

三、《网络安全法》与《刑法》的维度

从技术层面上讲，爬虫会造成目标站点负载过重，造成站点不能正常使用，甚至出现瘫痪等严重的问题，同时，爬行者也有可能触犯《网络安全法》有关网络安全的相关法律法规。但是，你若再有侵犯行为，就有可能违反《刑法》第285,286条。从爬入的内容来看，一旦窃听到的是私人的信息，就会违背《网络安全法》中有关搜集个人资料的规定，从而触犯《刑法》中的“侵害”。

来源：https://zhuanlan.zhihu.com/p/597280173