Discuss Data

意识到避免这些问题的重要性及其对网站搜索引擎优化的负面影响，谷歌在这方面发布了一系列建议。

当您不需要索引分面导航 URL 时
首先，该技术表明，如果不需要对分面导航 URL 进行索引，则应该阻止它们被抓取。为了实现这一目标，您可以：

使用robots.txt禁止抓取分面导航 URL。
使用 URL 片段指定过滤器，因为 Google 搜索通常不支持它们进行抓取和索引。
使用 rel=”canonical”指定哪个 URL 是分面导 医院电子邮件列表 航 URL 的规范版本。随着时间的推移，这可以减少该 URL 的非规范版本的爬网量。
使用 rel=»nofollow»。在指向过滤结果页面的锚点上使用属性可能是有益的，但您应该记住，指向特定 URL 的每个锚点必须具有 rel=”nofollow” 属性才能有效。
当需要索引分面导航 URL 时
如果需要对分面导航 URL 进行索引，您应该确保它们符合 Google 推荐的做法。这些都是：

使用标准的“&”URL参数分隔符：爬虫检测逗号（,）、句点（.）、分号（;）和方括号（[]）等字符作为参数分隔符变得更加困难。
在 URL 路径（例如：/products/shirt/green/large）中编码过滤器时，必须确保过滤器的逻辑顺序始终相同，并且不存在重复的过滤器。
当过滤器组合未返回结果时显示 404 代码。例如，如果您的电子商务库存中没有大的绿色衬衫，访问者应该会收到“未找到”错误以及 HTTP 代码 404。如果 URL 包含重复的过滤器或错误的组合，也会发生同样的情况。
您还应该考虑到以下事实：由于这些 URL 的体积较大，因此爬取这些 URL 会使用大量计算资源。