网站存在复制内容处理办法总结

　　复制内容可以通过很多方式产生。内部材料复制需要特殊方法才能达到最好的SEO结果。在很多情况下，复制页面对用户和搜索引擎没有任何价值。如果是这样，尝试修改实现方式使每一个页面只有一个URL，从而彻底解决问题。另外，从旧URL 301转向到留下的URL，帮助搜索引擎尽快发现你做的改进，保留被删除页面可能有的链接权重。

　　下面桐乡SEO介绍几种处理复制内容的简单方法：

　　1、使用canonical标签。这是消除复制页面的第二好的方法。

　　2、使用robots.txt文件阻挡搜索引擎蜘蛛爬行网站页面的复制版本。

　　3、使用Robots NoIndex标签告诉搜索引擎不要索引复制页面。

　　4、所有指向复制页面的链接使用NoFollow，防止任何链接权重流向这些页面。采取这种方法时，建议也在页面上使用NoIndex。

　　桐乡SEO提醒：Noindex可以删除已经被搜索引擎收录的链接，另一个广泛的用途是用在类似言情小说网站(http://www.qzread.com/)的HTML地图上，地图本身不需要权重，但是需要搜索引擎爬行和索引HTML地图上的所有小说链接，这是可以用Noindex。

　　有时候可以联合使用这些方法。例如，可以将指向页面的链接加NoFollow，页面本身也使用NoIndexo这是合情合理的，因为你要阻止链接权重流到这些页面，而且如果有人从其他网站链接到你的页面(这个你控制不了)，还是能确保页面不会进入索引。

　　然而，如果你用robots，txt文件防止页面被爬行，在页面本身使用NoIndex和NoFollow没有意义了，因为蜘蛛读不到页面，也永远看不到NoIndex和NoFollow标签。下面，是一些具体复制内容情况。

　　为了有所区别，桐乡SEO对Nofollow、robots.txt和Noindex作一个简单的介绍：

　　1、Nofollow标签的意思是在页面A上，如果存在一个链接指向页面B，如果页面A上的链接存在nofollow标签，意思是告诉搜索引擎不要追踪该条链接，该链接对页面B没有权重传递作用。Nofollow针对的是页面链接，最初的作用是给博客上的垃圾评论，告诉搜索引擎评论中的链接为非网站推荐。

　　2、robots.txt是一个协议，目的是告诉搜索引擎哪些链接可以抓取,哪些页面不要出现在搜索结果中。

　　3、Noindex和robots.txt的功能类似，也是告诉搜索引擎页面禁止索引，如果一定要区别robots的话，一个是在蜘蛛进入网站以后，会首先爬行robots.txt，确定网站允许爬行的范围，而Noindex是当蜘蛛爬行该页面时，才会发现页面是禁止索引的。

　　从节省蜘蛛资源的角度，如果有页面禁止索引，桐乡SEO还是推荐使用robots.txt。本文由网站制作博客(http://www.gaofen123.com.seozoro.com/)原创发布，尊重作者版权，转载请注明出处。