Discuss Data

如果他们找到该文件，他们将按照说明进行操作。但如果不存在文件，它们就会扫描所有内容。默认情况下，大多数 CDN 提供商不会启用此功能，这意味着一切都会被计算。规范标头正常工作。但是，如果它已启用，您将需要确保它允许所有内容进行爬网。
以下是 CDN 上的 robots.txt 文件的示例，该文件仅允许所有内容。

用户代理： *
不允许：
警报！保持相同的文件结构
还需要注意的是，迁移到 CDN 时应保持相同的文件结构。否则，可能会导致图像和 Google 索引变得复杂。

例如，您的路径在 CDN 之前可能如下所示。

这将确保 Google 通过正确的规范标头正确 太原移动数据库 索引您的图像，并且您将保留 Google 图片搜索中的所有流量。

说谎者！

某些 CDN 的价格为 0.04 美元/GB。一些提供商使用现收现付系统，而其他提供商则按月付款。无论您选择哪一种，CDN 都比以往更加实惠。

便宜的CDN

举个例子来说明它们的价格有多实惠，我有一个网站，每月有超过 60,000 名访问者，我每月为 CDN 支付 3.45 美元。这会根据您的带宽而有所不同，但如果您网站的大部分流量都是一般流量，那么您支付的费用可能比在星巴克喝一杯咖啡的费用要低。