网站重复内容的产生及解决办法

稍有SEO常识的人都知道，搜索引擎不喜欢重复内容，提倡网站内容原创性其实就是为了控制不同站点间的内容差异性。搜索引擎不喜欢重复内容的原因是，当用户在搜索引擎搜索某个关键词返回大量重复内容条目时，重复内容对用户毫无帮助。如果返回的结果各不相同，那些不同的条目就算不能满足用户需求，也可以为用户提供参考，这才是用户想要的。对于重复内容，搜索引擎一般采取的方式是对抄袭网站进行降权和不收录处理。

重复内容的产生

一般来说，不同站点间出现内容重复是因为有人恶意抄袭或者善意的转载。然而就算你全站内容都是原创的，也可能因为网站本身原因导致大量重复内容。比如你要访问疯男博客博文《为什么百度不收录你的文章》，我们至少可以用四个URL进行访问，它们分别是：http://www.fengnan.org/post-507.html、http://www.fengnan.org/?post=507、http://www.fengnan.org/post/507、http://www.fengnan.org/category/507.html，如果再考虑www.fengnan.org和fengnan.org的不同，我们至少可以用8种URL访问这篇文章了。如果搜索引擎收录了这8种不同的URL，他就会认为有7个地方是抄袭的，虽然说不管它收录哪个连接都是我的网站，但是这种内部竞争极大的浪费了搜索引擎的资源，会影响整个网站内容的收录。还有就是搜索引擎可能会判http://www.fengnan.org/?post=507为原创，进而打压其它URL，而我们希望收录的却是http://www.fengnan.org/post-507.html。

解决重复内容的方法

要让自己网站的内容和别人的不同，我们可以用原创的方式解决，要控制网站内部内容的唯一性方法就更多了。不管用什么方式，但是原理都是一样的：一，保证每篇文章只能用一个URL访问。二，阻止搜索引擎收录那些我们不希望收录的URL。三，引导搜索引擎收录我们希望收录的URL。保证每篇文章只可以通过一个URL访问属于程序问题，可以让网站程序员去完成（也可以用301重定向），阻止搜索引擎收录和引导搜索引擎收录我们可以用sitemap网站地图和robots文件控制（sitemap和robots都带了超级连接，可以点击查看详细内容）。比如疯男博客的sitemap地址是：http://www.fengnan.org/sitemap.xml，robots文件地址是：http://www.fengnan.org/robots.txt，有兴趣可以点开看看。

robots文件使用要当心

为了测试robots文件语法，8月30日我修改了一下robots文件内容限制谷歌收录，第三天后就发现谷歌把我博客的大部分内容删除了，虽然说没有删除干净，但是这些内容已经失去了排名能力（如图一），因为就连在谷歌搜索“疯男”以及“疯男博客”都没有办法找到我的博客了，要知道，当初在谷歌搜索“疯男”不但疯男博客排名第一，而且有全站链接（全站链接是高权重的象征）。在谷歌seti:www.fengnan.org，看到的内容也是很奇怪的，如图二。

图一：搜索“疯男”找不到疯男博客

图二：在谷歌seti:www.fengnan.org

我已于9月15日去除了robots文件中限制谷歌收录的代码，并重新提交了几次网址，但是半个多月过去了，谷歌依然没有正常收录。robots文件使用一定要当心，谷歌是K站容易收录难，如果对robots指令不熟悉，千万不要轻举妄动。

本文由疯男原创