网站SEO中最常见的问题之一便是网站重复内容的处理？
无论是有意还是无心，网站建立过程中将此出现多个链接出现重复内容或内容相似的情况。
这不仅给搜索引擎排名造成困扰，同时也给用户带来糟糕的阅读体验。
本文将对网站重复内容产生的原因和不同情况下的处理方法进行梳理，希望给SEO新手提供系统化的解决思路。
什么是网站重复内容？
内容，是谷歌三大排名因素之一。自从熊猫算法更新以来，谷歌一直都很重视页面内容的质量，特别是重复内容和薄内容。谷歌内容指南对重复内容的定义为：
网站重复内容通常是指网域内或网域间与其他内容完全匹配或大致类似的大量内容。大多数情况下，重复内容本身不具有欺骗性。
按照不同情况，可以将重复内容分成三类：
- 确切的重复：两个URL具有相同的内容。
- 近重复：两件内容有小差异。
- 跨域重复：多个域上存在精确或近乎重复的内容。
网站重复内容对SEO的不良影响
网站中的重复内容对SEO的不良影响，主要体现在三个方面
1.影响排名：相同内容的不同版本，给搜索引擎识别原创内容带来困难，从而导致搜索引擎给并不想排名的版本排名，进而影响网站的排名。
2. 稀释了外链权重：外链是其他网站对自己网站的信任投票，多个版本的相同内容，造成外链权重无法集中起来，可能稀释外链的权重，从而影响网站的排名。
3. 影响网站页面抓取：重复内容页面浪费了搜索引擎分配给网站的爬行预算，从而导致搜索引擎停止抓取网站内容。
网站重复内容产生的原因和处理办法
1. 标签的使用
在Worpdress中给文章和页面设置tag，word press会为tag创建单独的页面。如果tag跟文章类目相同，那么会产生重复内容页面。同时标签在修改的时候，也会产生重复内容。
处理方法：要么完全停止使用标签，要么添加noindex dofollow标签。 这将告诉谷歌和其他搜索引擎该页面内容单薄，但应follow、抓取您的网站并为其建立索引。 这样，谷歌就会意识到那些标签页并不那么重要，而且你还提供了你的好内容在哪里的信息。
2. 类目的使用
类似于tag，包含多篇文章，容易跟tag矛盾产生重复内容。并且且本身没有独特内容。
处理方法：如果您有一个网站，其中的类别对于用户非常重要，那么对待类别的方式与对待标签的方式略有不同。 对于类别，您需要添加index和 dofollow标签，同时还为该类别创建唯一的标题和描述。
3. 用于排序和追踪的URL参数
主要是指添加在网址后面的参数，一般用于数据追踪，因为指向的页面内容一样，对于搜索引擎来讲，就是重复内容。
处理方法：使用Canonial标签将所有参数链接指向不包含追踪参数的原文链接。
4. 内容抓取和聚合页面
很多情况下，网址可能在未获得授权的情况下，抓取其他网址的内容并发布到了自己网址上。
很多时候，因为没有提供足够的信息，搜索引擎并不一定能区分，哪个网站的内容是原创的内容，所以最后判定为重复内容。
处理方法：使用whois工具，找出抓取和抄袭网站内容的网站站长，然后有三个选项
- 联系站长移除抄袭内容；
- 联系提供抓取服务网站的服务器提供方和域名注册商；
- 联系谷歌要求其根据Digital Millennium Copyright Act删除对抄袭页面的收录。
5. 会话ID
最常见于网店中，为了追踪用户的购物车事件。
有时候会为用户的每一次访问创建会话ID，因而产生的重复页面。
处理方法：一般可以在系统设置中停用该设置。
6. 顺序参数
CMS系统经常在网页url后面添加各类用于排序的参数，例如id编号或者类目编号；
- /?id=13&cat=21
- /?cat=21&id=13
7. 评论分页
在 WordPress 以及其他一些CMS系统中，会提供对评论进行分页的选项。
但并不推荐这样的做法，因为如果您对评论进行分页，则会导致重复的内容，例如（/comment-page-1、/comment-page-2 等）。
处理方法：在Wordpress后台-设置-讨论选项中关闭该功能。
8.过滤器和排序
电子商务网站经常使用过滤（或分面）导航。 用户可以对页面上的项目进行排序的导航类型。 分面导航的工作原理是在 URL 末尾添加参数，因此会产生重复内容。
9. WWW 与非 WWW 一致性
当网站的两个版本（WWW 和非 WWW）均可访问时，搜索引擎可能会认为内容重复。
处理方法：选择一个版本，并坚持使用统一版本。在Google Search Console中验证两个版本网站的所有权，同时使用301重定向，将链接重定向到选定的版本。
10. HTTP/HTTPS 重复
与 WWW 与非 WWW 类似，如果您的网站有 HTTP 和 HTTPs 版本，则仍然有可能发生内容相同的问题。
处理方法：选择一个版本，并坚持使用统一版本。在Google Search Console中验证两个版本网站的所有权，同时使用301重定向，将链接重定向到选定的版本。
11. URL 末尾的正斜杠
并非所有人都知道 Google 实际上将带或不带尾部斜杠的 URL 视为独立的链接。
这使得 example.com/post/ 和 example.com/post 在搜索引擎眼中是两个不同的链接。
因此，如果您的内容在两个 URL 上均可用，则可能会导致重复内容问题。
处理方法：使用301 重定向将不需要的版本（个人选择的问题）重定向到想要使用的版本。 另外，注意内链保持一致。并且，对于带或不带尾部斜杠，网站所有 URL应坚持统一设置。
12. 用以打印的URL
网站管理员经常创建页面内容的打印版本页面链接。 他们这样做是为了方便用户打印其网站上的内容。
页面或帖子的打印版本与原始内容具有相同的内容。 唯一的区别在于 URL – example.com/post 与 example.com/print/post。
简而言之，这些适合打印的 URL 是网站内容的 PDF 版本。 它们被视为重复内容，因为 Google 可以读取 PDF 文件。
适合打印的 URL 上的内容不仅可以通过不同的 URL 访问，而且实际上还被复制粘贴（在 2 个或更多页面上）。
处理方法：使用Canonial标签将打印版本指向原文
如何识别/发现网站的重复内容？
1.网站重复内容识别推荐工具
- CopyScape：CopyScape 非常简单 – 所需要做的就是在主页的框中插入一个链接。 执行此操作后，CopyScape 将返回许多结果。 但请注意，如果没有高级帐户，您将只能获得前 10 个结果。
- Siteliner：它将帮助您在自己的网站上找到重复的内容。Siteliner 重复内容检查提供了大量信息，但免费版本每 30 天限制为 250 页一次。 搜索后，您将能够看到内部重复内容百分比。 看到较高的百分比也无需恐慌，因为 Siteliner 还会显示重复内容的摘录。
- SeoReviewTools：SeoReviewTools 最好的一点是它可以免费使用。 此外，还有 30 多种工具可以在您的网站上为您提供帮助。 重复内容检查器就是其中之一，要执行该检查，您所需要做的就是通过输入验证码来确认您不是机器人。 该工具将向您显示内部和外部重复内容。
- Serpstat：Serpstat 是一款功能强大的优质一体化 SEO 平台。 有了它，您还可以查看具有相同标题或描述标签的页面列表。
2. 其他工具
- HubSpot (Freemium);
- Moz (Premium);
- SEO Powersuite (Freemium);
- SEMrush (Freemium);
- Ahrefs (Premium).
网站重复内容如何处理 – 常见处理方式
- 使用Canonial标签：在您的 WordPress 网站上实施规范标签。 当存在多个具有相似或相同内容的页面时，这些标签指定页面的首选版本。 Yoast SEO 和其他适用于 WordPress 的 SEO 插件可以轻松地将规范标签添加到您的页面。
- 使用 301 重定向：如果多个 URL 指向相同内容，请设置 301 重定向到首选 URL。 您可以使用重定向插件来有效地管理这些重定向。
- 设置首选域：决定您希望您的网站使用“www”还是“非 www”网址，并在 Google Search Console 和 WordPress 设置（设置 > 常规）中配置您网站的首选域。
- 优化分类和标签页：WordPress 生成的类别和标签页面可能会导致重复内容。 使用“noindex”元标记或将它们从 SEO 插件设置中的索引中排除。
- 避免重复的标题和描述：确保每个页面或帖子都有唯一的描述性标题和元描述。 Yoast SEO 和其他 SEO 插件可以帮助您管理每个页面的这些元素。
- 设置正确的分页：如果您的网站有分页内容，例如多页文章或类别页面，请使用 rel=”next” 和 rel=”prev” 标签向搜索引擎表明页面之间的关系。
- 使用参数处理：如果您的网站在网址中使用参数（例如，用于排序或过滤），请使用 Search Console 中的 Google 网址参数工具告诉 Google 如何处理这些参数，以防止重复内容问题。
- 创建独特的内容：始终努力制作高质量、独特的内容，为您的受众提供价值。 避免从其他来源抓取或重新发布内容。
- 监控和更新：定期监控您的网站是否存在重复内容问题，并随着网站的发展及时解决任何新发现的问题。
