网络爬虫，也叫网络蜘蛛(Web Crawler)，从本质上来说它是一套可以实现高效下载的程序。它能够按照指定的规则，通过遍历网络内容的方式，搜集、提取所需的网页数据并下载到本地。它还有另外的名字，例如：自动索引、网络蚂蚁、蠕虫。
当今的互联网世界当中，百分之五十的流量都是由爬虫创造的，可以说没有爬虫就没有互联网如今的繁荣。
举个例子，每当遇到春运或者是节假日期间，大家总能看到各种抢票行为在微信群中疯狂转发。每个人都希望互相帮助点个加速，好能够早一点买到回家或者是旅行的车票。但无论你如何努力，往往总是在最后的千钧一发之际，才能拿到通往远方的车票。没错，这个让你又爱又恨的抢票软件，其技术原理就是爬虫。
简单来说爬虫就是通过技术手段与算法，模拟一个人在网络上的行为，像人一样去点击网页、下订单等操作。但由于爬虫的工作状态类似于蚁群工作，每个蚂蚁的工作任务虽然非常简单，但当一大群蚂蚁重复相同的工作时，产生的效果则是非同寻常的。
技术无罪但使用技术的人要分清对错
像百度、谷歌这样的搜索引擎爬虫，每隔几天就要对全网的网页扫描进行收录，供网民搜索、阅读，各个被扫的网站当然非常开心了，这种我们定义它为"良性爬虫"。而有一些非法窃取数据信息、甚至以爬虫名义做DDos攻击的行为，大量占用web服务器资源等，这种可就是"灰色"产业、"恶意爬虫"了。
也有很多人认为，恶意爬虫只会威胁到少数以文本为核心价值的网站，但其实这些能改变自己请求路径和请求方式的伪装者可能潜伏在任何一个网站的每一个角落。文本、图片、价格、评论、接口、架构等方方面面均有可能成为爬虫的囊中之物。
其实针对爬虫技术我国也有明确的相关要求
一、爬虫不可以干扰网站的正常运营
《数据安全管理办法》第十六条：利用自动化手段访问收集网站数据，不得妨碍网站正常运行；此类行为严重影响网站运行，如自动化访问收集流量超过网站日均流量三分之一，网站要求停止自动化访问收集时，应当停止。
二、不可以爬取受法律保护的特定类型数据或信息
《中华人民共和国网络安全法》第四十一条：收集、使用个人信息，应当遵循合法、正当、必要的原则，公开收集、使用规则，明示收集、使用信息的目的、方式和范围，并经被收集者同意。
网络运营者不得收集与其提供的服务无关的个人信息，不得违反法律、行政法规的规定和双方的约定收集、使用个人信息，并应当依照法律、行政法规的规定和与用户的约定，处理其保存的个人信息。
《网络安全法》第四十四条：任何个人和组织不得窃取或者以其他非法方式获取个人信息。
《中华人民共和国刑法》第二百八十五条：获取计算机信息系统中存储、处理或者传输的数据，或者对该计算机信息系统实施非法控制，处三年以下有期徒刑或者拘役，并处或者单处罚金; 最高处七年有期徒刑并处罚金。
《中华人民共和国刑法》第二百八十六条：违反国家规定，对计算机信息系统功能进行删除、修改、增加、干扰，造成计算机信息系统不能正常运行，后果严重的，处五年以下有期徒刑或者拘役；后果特别严重的，处五年以上有期徒刑。
安 全 提 示
我认为，技术本身是无罪的，我们在使用爬虫时，爬虫开发者的道德自持与企业经营者的良知才是避免触碰法律底线的根本所在。
同样根据"相生相克”的道理，无论爬虫多么厉害，是都能够被复杂的反爬虫机制所发现的。同样，无论反爬虫机制多么缜密，这也能被更高级的网络爬虫所攻破。
因此爬虫开发者在使用爬虫时应注意：
- 严格遵守网站所设置的robots协议；
- 优化代码，避免给被访问网站造成干扰；
- 审查所抓取的内容，如发现涉密信息应及时停止与删除；
- 爬取的信息禁止出售、传播、转用等；
除此之外，我们也要有相应的"反爬"机制：
- 对后台访问进行统计，如果单个IP、session、UserAgent访问超过一定阈值，对其进行封锁处理；
- 增加相关验证机制，例如验证码、问题等对其进行阻隔；
- 对请求进行加密处理并掩盖真实数据；
- 将具体内容以图片或附件的形式展现出来；
网址来源：https://zhuanlan.zhihu.com/p/140380788
文章评论