Robots.txt文件被谷歌索引，怎么办

John Mueller最近就怎样阻止robots.txt和站点地图文件在搜寻效果中创立索引供给了一些倡议。

Robots.txt文件被谷歌索引，怎么办

Gary Illyes的一条推文提醒了这一倡议，他随机指出，从技术上讲，robots.txt可以像其他任何URL同样被索引。只管它为爬网供给了特别的引导，但没有什么可以阻止它被索引的。

这是Illyes的完备推文：

“被一个内部题目触发：从索引的角度来看，robots.txt只是一个可以对其内容进行索引的url。就像任何其他URL同样，它可以变为标准或可以反复数据删除。

它仅拥有爬网的特别含义，但那里的索引状态基本不重要。”

作为对Google同事的回应，Mueller 说 x-robots-tag HTTP标头可用于阻止robots.txt或站点地图文件的索引体例。然而，这并不是他所要说的全部，由于可以说这是关键所在：

“此外，要是您的robots.txt或站点地图文件针对通例查询（而非站点：）进行排行，则平常表明您的站点的确情况不佳，应予以改进。”

因而，要是您碰到了robots.txt文件在搜寻效果中排行的题目，那么运用x-robots-tag HTTP标头阻止它是一个不错的短期解决方案。但是，要是产生这种状况，那么从久远来看，可能会有更大的题目需要解决，正如Mueller倡议的那样。