蜜蜂采集器的使用教程 - 采集一次再发布到多个站点的几种方法 在数据采集过程中，常常需要将采集的内容发布到多个不同的站点，但各个站点的CMS、插件等可能各有不同，从而导致发布的数据格式也有所差异。对此，我们一般可以采取以下几种方法。 主站采集、子站复制 从数据源采集数据并发布到主站后，再从主站采集并发布到其他子站。其优点是简单明了，方法统一。但缺点也很明显，采集会消耗更多的系统资源，同时维护繁琐。一旦主站更换主题或优化页面布局，可能会导致子站数据出错，维护工作量较大。 一次采集多站发布，站点发布模块中对标签数据二次…
数据挖掘(Data Mining)就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。这个定义包括几层含义：数据源必须是真实的、大量的、含噪声的；发现的是用户感兴趣的知识；发现的知识要可接受、可理解、可运用；并不要求发现放之四海皆准的知识，仅支持特定的发现问题。这里的知识一般指规则、概念、规律及模式等。 数据挖掘建模过程 定义挖掘目标 针对具体的数据挖掘应用需求，首先要非常清楚，本次挖掘的目标是什么？系统完成后能达到什么样的效果？因此…
蜜蜂采集器的使用教程 - 2305版本的POST采集方法介绍 POST方法是一种HTTP请求方法，区别于GET方法。POST采集就是使用POST方法进行采集。 蜜蜂采集器自2305版本开始，支持POST参数分隔符方式的POST采集，同时废除了此前的2304版本中的域名指定POST采集的方法。 至此，软件支持网址翻页采集的POST方式采集和POST参数分隔符两种方式。其中，网址翻页采集的POST方式采集，可以查看软件帮助文档，功能仅限定在网址采集的翻页采集时。此处主要介绍POST参数分隔符方式的POST采集。 POS…
一、云采集是什么？ 云采集是指，使用由八爪鱼提供的云服务进行数据采集。八爪拥有5000+云服务器，7*24小时运行云采集服务。 我们在本地电脑上将任务配置完成，测试没有问题以后，就可以选择启动八爪鱼的云采集。 注意，团队版以上用户自带云采集功能。什么是团队版？点击查看 版本套餐 。 二、云采集优势 与【本地采集】对比，【云采集】具有以下优势： 1、采集速度更快。 2、实现无人值守。可关闭电脑、软件进行数据采集，真正实现无人值守。 3、定时采集。云服务器是7*24小时，可设置任务的定时启动工作。 4、数据…
有很多网站，通过点击【加载更多】或【再显示20条】等按钮进行翻页。像 搜狗微信首页 、微博评论 等页面都是这种情况。 针对这种网页，八爪鱼V8.4.0版本新增【边点击边采集】功能，可以边点击【加载更多按钮】，加载出新数据，边采集每次加载的新数据。 例：设置点击20次，则点击1次后，采集第1次点击后加载的数据，继续点击第2次，采集第2次点击后加载的数据.......直至点击20次，采集第20次点击后加载的数据。 使用智能识别和自行配置的采集规则，都能实现【边点击边采集】，具体设置方法如下。 一、使用智…
有很多网站，需要向下滚动页面，才能加载出新数据。那相对应的，在八爪鱼中也需设置【页面滚动】。 适用场景：将滚动条直接下来到网页底部，出现类似【加载中】字样，稍后马上有新数据出现，且滚动条变短回弹。 常见的网页：澎湃新闻首页、今日头条首页、百度图片搜索、新浪微博首页，都是这种情况。 鼠标放到图片上，右键，选择【在新标签页中打开图片】可查看高清大图 下文其他图片同理 以澎湃新闻首页为例。https://www.thepaper.cn/，我们需采集新闻列表数据。就需要在打开网页后不断向下滚动，加载新数据。 …
一、什么是【边滚动边采集数据】 有很多网站，需要向下滚动页面，才能加载出新数据，像 今日头条首页、百度图片搜索、新浪微博首页 等页面都是这种情况。 在采集这类网页数据时，相对应的在八爪鱼中也需设置【页面滚动】。 八爪鱼V8.2.0之前的版本，需按照设置的滚动次数，将页面全部滚动完成之后，才会开始采集数据。 例：设置滚动20次，则需等页面滚动20次后，一次性采集前20次滚动后加载的全部数据。 详情请看教程：滚动加载数据采集方法 V8.2.0版本新增【边滚动边采集数据】功能，可以边滚动页面边采集数据。 例：…
很多网页使用了Ajax 技术，针对这种网页，我们需在八爪鱼中进行Ajax设置。 一、什么是Ajax？ Ajax (Asynchronous JavaScript and XML) ：异步JavaScript 和XML。 Ajax是一种在无需重新加载整个网页的情况下，更新部分网页的技术。 通过在后台与服务器进行少量数据交换，Ajax 可以使网页实现异步更新。传统的网页（不使用 Ajax）如果需要更新内容，必须重新加载整个网页页面。 二、如何判断网页是否使用了Ajax技术？ Ajax网页有2个明显特征：…
