网站一般由栏目页和内容页组成。首页、主题、搜索结果等也可视为栏目页。 采集网页数据，即从栏目页获得内容页地址列表，从内容页提取所需数据。 网页数据采集有着广泛的用途。例如，金融数据采集分析，门户新闻实时监控，监控电商的库存变化/价格变化，舆情分析，客户资料采集，短视频/文章同步发布到各平台。因此，掌握好这门技术，是非常有必要的。 现在，我们做一个热点新闻推送到手机的功能。我们以某门户站点的新闻热搜榜单为采集对象，采集结果将发布到企业微信。 页面分析 使用Chrome浏览器，按F12打开浏览器的开发者工具，再打开门户…