Robots.txt是用于阻止对您网站上的任何 URL进行索引的文件。作为提示,请将“禁止”标签应用于您不希望被索引的某些页面。它不会提高可索引性(就像没有它一样),但它确实允许您更好地自定义要在搜索结果中显示的 URL 以及您不希望将哪些 URL 编入索引(感谢页面(特定于产品、隐私政策、文档等的登陆页面)。
正如上一节中所发生的那样,这种不对内容建立索引的操作也可以通过更技术性和手动的方式来执行,正如 Google 本身告诉您的那样。我们再次讨论的是一个更具技术性的挑战,它需要 HTML 知识来管理元数据,这将导致某些页面或部分无法被索引。
我将在本文末尾向您详细介绍这一点,并提供不同网络编辑平台上的分步说明。
但是,如果您希望确保索引达到 10 分,请查看清单中的步骤以及本文中的步骤。
你喜欢你正在读的内容吗?订阅博客!
电子邮件*
你的电子邮件
我已阅读并接受隐私和 Cookie 政策。
如何知道 Google 是否正在为您建立索引?
现在,完成所有这些步骤后,您可能会问这个问题:“Google 会将我的内容编入索引吗?”让我们看看如何检查索引是否正确完成:
手动检查 URL 的索引
通过在 Google 中应用“site:”命令,您将知道您的网站有多少个 URL 出现在 SERP 中。您只需在搜索栏中使用组合 site:yourdomain.com 即可。
将显示索引页面的总数,如图所示:
inboundcycle 索引 url
如何强制抓取您的域名以建立索引?
Google 有一个非常有用的技巧,可以在几秒钟或几分钟内再次(或第一次)抓取您的内容并为其编制索引。
您只需访问 Search Console,注册您的网站(如果您尚未注册),然后从左侧面板访问“跟踪”>“以 Google 身份探索”。
在那里您将找到输入项目 URL 的选项。如果您希望抓取主页,则可以将该字段留空,或者输入任何 URL 来抓取内部页面。
我们只需编写它并单击“获取并处理”即可。
谷歌搜索控制台索引
通常,提交的 URL 会在几秒钟内被抓取并建立索引,但 Google 警告我们,这可能需要长达几分钟的时间,尽管这种情况并不常见。
如果几分钟后该内容尚未编入索引,则该 URL可能存在可索引性问题。为了解决这个问题,虽然可能有很多情况,但我要做的第一件事就是检查“robots.txt”文件。
正如我在文章开头告诉您的那样,您可以在该文件中阻止某些页面的索引。也许你有一些东西阻碍了它的索引。
在 Search Console 中,我们有一个快速选项可以检查索引状态中的问题。我 卡塔尔电报数据1万套餐 们只需转到平台的以下部分:“Google Index”>“Indexing Status”。
我们将看到如下图,其中我们可以到 Google 索引,以及哪些内部页面已被机器人阻止:
谷歌搜索控制台索引状态
另一方面,有时我们想要对内容进行取消索引,即反转索引过程。请继续关注,还有更多您可能感兴趣的信息:
什么是网络去索引?
正如我们网站的特定页面可以被索引一样,我们也可以阻止您网站的某个元素被 Google 索引。或者即使它已经被索引,我们也可以通过 Google Search Console 表明我们想要取消索引该条目。
如果我们考虑那些不为 Google 或我们的访问者提供价值的页面(例如数据隐私页面或管理页面),这可能非常有用。或者我们甚至可能希望某个条目只能从我们网站上的一个位置访问,而不是从 Google 访问。无论出于何种原因,都可以通过我们的站点地图和 Google Search Console 来完成此操作。
HubSpot 中的取消索引页面
为了防止搜索引擎对您网站上的特定页面建立索引,我们必须使用“无索引”元标记。此字符串代码被输入到页面 HTML 代码的标头部分,以告诉搜索引擎不要索引该页面。要在HubSpot中执行此操作,您需要:
登录您的 HubSpot 帐户并浏览您网站的页面。
单击您想要取消索引的页面或帖子的名称。
在内容编辑器中,单击“设置”选项卡。
单击高级选项。
在 HTML 标头中,粘贴以下代码:<meta name="robots" content="noindex">。这告诉谷歌机器人我们不希望他们索引我们网站的该元素。