怎样准确运用robots.txt文件？
当您网站在进行SEO优化工作时，robots.txt文件是一个功能强大的工具，但应谨慎看待。它可以允许或拒绝搜寻引擎拜访不一样的文件和文件夹，我们应当怎样准确运用robots.txt文件？
怎样准确运用robots.txt文件？
搜寻引擎一直改善爬行方式和算法，这意味着几年前的最好做法不再起作用，甚至可能侵害您的网站。
如今，最好做法意味着尽可能少地依赖robots.txt文件。现实上，只要在您碰到复杂的技术难题或没有其他选中时，才真正需要阻止robots.txt文件中的URL。
关于大多数网站，下列示例是最好做法：
- User-agent: *
- Allow: /
我们甚至在本人的robots.txt文件中运用此办法。
该代码的作用有哪些？
该User-agent: *注明指出，下列任何注明都适用于所有的搜寻引擎。
由于我们没有供给任何进一步的注明，所以我们说“所有爬网程序都可以不挨限定地自在爬行该网站”。
要是您想防止搜寻引擎对WordPress网站的某些局部进行爬网或体例索引，平常最佳通过增加meta robots标签或robots HTTP标头来做到这一点。
在搜寻效果的可见性以前，搜寻引擎需要发明、爬网和索引页面。要是您已通过robots.txt阻止了某些URL，则搜寻引擎将没法再通过这些页面来发明其他页面。这可能意味着关键页面不会被发明。
Robots.txt拒绝链接值
SEO的根本法则之一是来自其他页面的链接会影响您的机能。要是某个URL被阻止，不仅搜寻引擎不会对其进行爬网，而且它们也可能不会将指向该URL的任何“链接值”或通过该URL分发给网站上的其他页面。
Google全面呈现您的网站
人们已往常常阻止对CSS和JavaScript文件的拜访，以使搜寻引擎专注于那些最重要的内容页面。
如今，Google会猎取您所有的样式和JavaScript，并完全呈现您的页面。理解页面的布局和表示情势是评估质量的关键局部。因而，当您拒绝Google 拜访CSS或JavaScript文件时，Google基本不喜好它。
您（平常）不需要链接到您的站点地图
robots.txt规范支撑将指向您的XML网站地图的链接增加到该文件。这有助于搜寻引擎发明站点的位置和内容。
我们不断觉得这是多余的。您应当已经通过将站点地图增加到 Google Search Console和Bing网站治理员工具 帐户中来拜访剖析和结果数据。要是这样做，则在robots.txt文件中不需要援用。
