网站如何采集文章做SEO，SEO内容采集解决方案_蜘蛛技巧_超级蜘蛛池

虽然百度放出了打击采集网站的算法，百度到底是喜欢原创文章的网站还是采集文章的网站？但给我的感觉是没有真正落实下去的。不仅如此，对于那些辛辛苦苦原创的站长来说，有时候做出来的效果还没有人家轻轻松松的采集效果来的好。

所以今天我们就来和大家分析一下网站如何采集文章做SEO!

一、利用采集文章对网站优化

对于一个网站来说，内容是十分重要的，除非你是付费玩家（SEM），不用做内容也可以获得不错的排名。而对于我们这些草根站长来说，内容就像是盖楼的地基一样，得先将地基打好，才能够盖起一栋栋摩天大楼。

那么想要利用采集文章来优化网站的话，建议大家对网站优化的几个要点着重了解一下，首先是网站的TDK书写，网站的TDK书写是十分重要的，

当百度蜘蛛进来你的网站以后，首先抓取的就是该网页的TDK。

可能有些朋友不知道TDK是啥，它主要就是网页的三大标签，标题（title)、关键字（keywords)以及描述（description)，所以大家在发布文章的时候一定要合理的去设置它们。

第二点就是网页内链锚文本，由于我们是选择采集文章来做的优化，所以每天发布的文章是非常多的，这时候就可能会有较多的百度蜘蛛前来抓取网站的内容。

而我们就是要利用好百度蜘蛛会不断深入爬行的这么一个特点，通过对网站文章的内部链接设置，使其不断的在我们网站里边爬行、抓取，这样的话有利于我们网站整体权重的提升。

第三点是关于网站内部的评论模块，虽然可能说前期没有人会在我们的网站下方评论，但我们可以自己去评论呀，对于评论模块其实百度蜘蛛也会去抓取，那么我们应该如何利用好评论呢？

可以利用评论来增加一下关键词的密度，百度对于页面的关键词密度也是有所考核的，我们在站长工具里面看到推荐的密度在2%-8%之间，

二、采集文章的方式

采集文章的本质就是搬运，而在互联网上搬运文章莫过于两种方法：

1、自己手动复制搬运

手动复制的话需要耗费过多的时间以及精力，得上各大网站去寻找自己想要的文章，再去复制收集，不过手动搬运的话也是有好处的，就是我们可以更精确的找到自己想要的文章。

2、利用采集软件批量采集

关于小说采集站的玩法其实就是类似采集软件的，采集软件可以根据我们所提供的关键词全网自动收集，并且对于自媒体网站的文章还会有显示出阅读量、评论数等等。

利用采集软件的话有利于我们对数据的分析，例如哪个文章比较多人看，比较招人喜欢。这些我们都可以通过数据分析出来，再将其搬运至我们的网站中。

三、SEO内容采集解决方案

1、采集流程原理

目前采集通常有两种方式：

1）定向采集：按原点分类，设定条件采集,有站有什么就采什么，再过滤处理！

2）泛采集：通用爬虫采集

我们这里用的是：据于关键词基础上，指定Ｎ个站点，定向采集

原理：借用搜索引擎指令　site: domain keyword

原理图

1、内容处理

1）.标题

方法一：精简原始标题

步骤如下：

对原始标题分词

去除停止词

获取词缀词性

去除修饰词，如形容词、副词、介词…，保留原标题主谓宾，获取句子主干

通常基于jieba分词或nltk实现，要删除的修饰词可以预先分析大量的标题来提取，追加到字典中。。

如:阿里巴巴部分产品页的title就是这样处理的，把用户发布的产品名中一些无关大雅的词缀干掉，提取主干放到title标签中

方法二：插入搜索词

步骤如下：

搭建xunsearch或其他的开源搜索，对采集标题创建索引

用提前准备好的搜索词（就是要做的那些词）依次到搜索接口中搜索

对搜索结果中出现的标题前方插入当前搜索词

我要做的词有“电动车电池正确使用方法”

比如匹配出来原标题

“不要再让过度放电毁了你的电动车电池”

“黄山一男子用拆线搭线的方式偷走电瓶车”

………………..

则标题前插入关键词：

“[电动车电池正确使用方法] 不要再让过度放电毁了你的电动车电池”

或“[电动车电池正确使用方法] 黄山一男子用拆线搭线的方式偷走电瓶车”

当然也可以：“{插入的搜索词}{精简后的原始标题}”

方法三：插入当前标题已包含搜索词的衍生词、相关搜索词

步骤如下：

抓取标题已包含搜索词的百度相关搜索或下拉框，

标题中插入相关搜索或下拉框的词

如：“[{百度相关搜索词1}]{原始标题}”、“[{下拉框推荐词1}{原始标题}]”

也可以: [{百度相关搜索词1}]{精简后的原始标题}”、“[{下拉框推荐词1}{精简后的原始标题}]”

2.正文内容

正文的处理主要是针对重复性，尽量降低与原始内容的相似性

正文开头、结尾处插入随机文本

方法一：提前准备一些能够通用的文本模板，随机调用，替换关键词

方法二：正文中随机截一段文字

方法三：随机调出Ｎ条相关文章标题和概要，放到首尾

修改正文内容

基于textrank算法提取文本摘要，放到正文前面。

为了防止字数过少，可以提前用k-means和tf-idf，找出当前文章的相似文章，可以提取它们正文字数最长的段落的摘要，加到当前的文章中用作字数上的补全。

聚合页面

聚合页面就是由词根挖出来的10个扩展词，每个扩展词生成一个列表页或其他形式的聚合页面，页面内容就是对应这个词采集的20篇内容。

这是最简单的模型

通常模型

以扩展词”电动车电池正确使用方法”为例子

聚合页面 要采集内容有：

怎样保护充电器吗？

怎样延长蓄电池寿命？

电动车电池充电环境要求？

这种模型通常机器+工人先预设好模型再采集内容，再处理组合。

扩展词：九江适合逛街的地方

标题：关键字组合，

内容：聚合页面，内容组合