当前位置: 首页>>技术教程>>正文


防止XML站点Map显示在Google搜索结果中

webfans 技术教程 , , , , 去评论

问题描述

如何阻止我的XML站点Map文件显示在Google搜索结果中,例如site:搜索查询的结果:

google,sitemap,indexing,googlebot,xml-sitemap

我不明白为什么Google会选择在搜索结果中显示站点Map文件。这些文件不适合人类消费。

Google需要能够抓取它才能处理它,所以我不能在robots.txt中禁止它。我只是不希望他们在处理后将它放入搜索结果中。

最佳解决方案

Google确实为XML站点Map编制索引(就像任何XML文件一样)。如果Google知道某个网址并返回有效回复,那么它将通过Google的包含规则并可以编入索引。就个人而言,我只通过GWT提交站点Map,并在robots.txt中包含一个Sitemap:引用,这肯定足以让它被索引。

防止这些文件被Google编入索引的推荐方法是在提供XML站点Map时包含X-Robots-Tag HTTP响应标头。例如:

X-Robots-Tag: noindex

就像在HTML文件中包含机器人META标记一样,X-Robots-Tag标头可用于任何类型的文件。

参考:本文档(自2008年11月起!)似乎引用了我们自己的John Mueller(谷歌)关于在处理XML站点Map时使用X-Robots-Tag响应。 Yes, Google Will Index & Rank Your XML Sitemap File

有关更多信息,请参阅Google的开发者指南:Robots meta tag and X-Robots-Tag HTTP header specifications

次佳解决方案

MrWhite关于使用X-Robots-Tag的答案似乎是正确的方法。

以下是可以在.htaccess或Apache配置文件中使用的代码。 (参考:WebmasterWorld – Sitemaps showing up in SERP – How to prevent this?)

<Files ~ "sitemap.*\.xml(\.gz)?$">
  Header append X-Robots-Tag "noindex"
</Files>

在nginx下,配置如下。 (参考:Yoast X-Robots-Tag examples)

location ~* sitemap.*\.xml(\.gz)?$ {
    add_header X-Robots-Tag "noindex";
}

第三种解决方案

为什么这有关系?

如果你真的可以在SERP中找到你的站点Map,那么你就会遇到更大的问题。

我会更专注于使用有用的内容来获取页面。这样,即使找到站点Map,您也会很难。不管怎么说,你并不在意这一点。

附:

几乎每个人都将站点Map保存在同一个地方。所以,如果有人想找到你保留的地方,他们会:)

参考资料

本文由朵颐IT整理自网络, 文章地址: https://duoyit.com/article/3036.html,转载请务必附带本地址声明。