网络爬虫，也叫网络蜘蛛(Web Crawler)，从本质上来说它是一套可以实现高效下载的程序。它能够按照指定的规则，通过遍历网络内容的方式，搜集、提取所需的网页数据并下载到本地。它还有另外的名字，例如：自动索引、网络蚂蚁、蠕虫。 当今的互联网世界当中，百分之五十的流量都是由爬虫创造的，可以说没有爬虫就没有互联网如今的繁荣。 举个例子，每当遇到春运或者是节假日期间，大家总能看到各种抢票行为在微信群中疯狂转发。每个人都希望互相帮助点个加速，好能够早一点买到回家或者是旅行的车票。但无论你如何努力，往往总是在最后的千钧一发…