您还可能会发现自己处于同一网站拥有不同版本的情况。典型情况是那些带有或不带 www 的URL（例如 www.nomesimo.com 和 nomesito.com）或带有http和 https 的 URL（http://nomesimo.com 和 https://nomesimo.com）。
URL参数还可以生成搜索引擎眼中的姐妹页面 。在专门介绍如何防止带参数抓取重复内容的 Google 帮助中心页面上，给出了三个可能导致重复内容的 URL 示例：
什么是 Robots.txt 文件
robots.txt 文件是机器人排除协议 (REP) 的一部分，该协 澳大利亚WS球迷 议是一个标准组合，用于管理机器人如何抓取网络、访问和索引内容以及如何向用户呈现该内容。
最后更新时间：21 年 1 月 7 日
阅读时间6分钟
安东尼奥·帕皮尼的图片
安东尼奥·帕皮尼 编剧
什么是 robots.txt 文件
robots.txt 文件只是放置在网站根目录中的一个文本文件，用于指示搜索引擎爬网程序抓取网站上的哪些页面以及忽略哪些页面。这些爬行指令被称为“禁止”或“允许”特定（或所有）网络爬行软件的行为。
目录
允许所有网络爬虫访问所有内容
阻止特定文件夹中的特定网络爬虫
阻止特定网页的特定网络爬虫
robots.txt 文件的工作原理
有关 robots.txt 文件的简单事实：
技术语法 robots.txt
模式匹配