1、正则表达式简介 正则表达式是对字符串（包括普通字符（例如，a 到 z 之间的字母）和特殊字符（称为“元字符”））操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个【规则字符串】，这个【规则字符串】用来表达对字符串的一种过滤逻辑。正则表达式是一种文本模式，该模式描述在搜索文本时要匹配的一个或多个字符串。 2、正则的用途 字符串匹配（字符匹配） 字符串查找 字符串替换 3、常用元字符及描述 \d 匹配一个数字字符。等价于[0-9] \D 匹配一个非数字字符。等价于[^0-9]…
我们通过创建【循环列表】去采集多个列表或详情页的数据。创建【循环列表】的方式在 新手入门系列课程 中有详细讲过。 一般情况下，通过以上方法创建的【循环列表】不会出错，能够精准采集到我们想要的全部数据。但有时候也会遇到一些问题：比如滚动后加载出100个列表，为什么只采集到20个？有一些列表并不是我们需要的，如何将其排除掉？ 页面本来有30条列表，为什么却只能采集到10条？ 这时候，就需要手动修改XPath去精准定位列表。 以下通过实例进行说明。 实例网址：https://www.made-in-chi…
通过前几课的学习，我们已经学会了采集一页数据：列表、表格、点击链接进入详情的数据。 在实际使用过程中，经常是需要翻页来采集更多的数据。对于需要翻页的网站，我们该如何操作呢？ 本课将讲解常见的网页翻页类型，以及用八爪鱼实现翻页的方法。 一、点击 【下一页】按钮翻页 点击页面上的 【下一页】按钮翻页，是最常见的翻页方式。这个网站就是如此：http://www.ggzy.gov.cn/information/info/news/news.shtml 鼠标放到图片上，右键，选择【在新标签页中打开图片…
采集场景 打开B站详情页，采集视频详情页数据。 示例网址： https://www.bilibili.com/video/BV1ai4y1x7bB https://www.bilibili.com/video/BV1Wv411172X https://www.bilibili.com/video/BV17k4y117BJ 采集字段 标题、时长、发布时间、总播放数、总弹幕数、发布者、硬币、收藏量、点赞数、分享数、视频介绍、视频标签、评论数 点击查看高清大图，下文其他图片同理 采集结果 采集结果可导出为…
作为国内最大的电商平台之一，京东数据采集具有多个维度。 有人需要采集商品信息，包括品类、品牌、产品名、价格、销量等字段，以了解商品销售状况、热门商品属性，进行市场扩大和重要决策； 有人需要采集产品评论，以明确产品优缺点、市场意向，进行新商品调研优化； 除了以上之外，还有很多的应用场景等待挖掘。下面为大家详细介绍京东数据采集的方法。 京东数据采集的方法 既然京东数据采集极为需要势在必行，那么该如何进行操作呢？是找到要采集的京东网址，将数据一条条复制粘贴到excel表格中？还是找一个爬虫工程师，写爬…
