如何防止Google索引/wp-content/目录？

时间：2020-09-02 作者：pressword

我收到谷歌的一个错误，说我的网站上有移动可用性错误。

“the”；第“”页；他们指的是www.example.com/wp-content/plugins/ag-admin.

我不是在寻求那个插件的帮助，而是想弄明白如何让谷歌根本不索引那个目录。

正在我的机器人中消除这种干扰。txt足够了，或者我应该这样做吗？

2 个回复
最合适的回答,由SO网友:Aditya Agarwal 整理而成

事情是这样的

有多种方法可以做你想做的事情，从添加元标记到传递标题，但因为你用机器人标记了你的问题。所以我认为讨论任何其他解决方案都是离题的。

考虑到你的需求，你需要把它作为你的机器人。txthis不允许访问wp admin，但根据使用情况，您可能需要ajax，所以我给了它一个例外，然后不允许wp内容，wp包括。

更换你的机器人。txt位于根目录中，如下所示

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Noindex: /wp-content/
Noindex: /wp-includes/
这将要求谷歌不要索引wp内容中的任何内容，wp包括，谷歌的速度很慢，它的机器人需要一段时间才能意识到他在错误的地方，所以它最终会将其从索引中删除。

The below HTACCESS METHOD is completely optional, the Robots.txt can do the trick with work, but HTACCESS is much more consistent method, therefore I couldnt resist myself from telling it

如果您愿意编辑ht access文件，那么这将是一种更好的方法。

我自己在我的网站上使用它。我下面的代码如果放在htaccess文件中，会阻止所有PHP和后端特定文件，但允许所有图像、视频、PDF和各种类似的文件格式被Google和其他人索引。

# Serves only static files
RewriteCond %{REQUEST_FILENAME} -f
RewriteRule ^wp-(content|includes)/([^/]+/)*([^/.]+\\.)+ (jp(e?g|2)?|png|gif|bmp|ico|css|js|swf|xml|xsl|html?|mp(eg[34])|avi|wav|og[gv]|xlsx?|docx?|pptx?|gz|zip|rar|pdf|xps|7z|[ot]tf|eot|woff2?|svg|od[tsp]|flv|mov)$ - [L]
RewriteRule ^wp-(content|includes|admin/includes)/ - [R=404,L]

SO网友:Cyclonecode

Using robots.txt

是的，你可以用robots.txt 为此，只需将以下内容添加到此文件中：

User-agent: *
Disallow: /wp-content/
请注意，您可以有多个Disallow 如果要限制其他文件夹的索引，请执行指令。

User-agent: *
Disallow: /wp-content/
Disallow: /wp-admin/
如果要允许对文件夹中的特定文件进行索引，可以使用Allow 之后的指令Disallow 像这样：

Disallow: /wp-content/
Allow: /wp-content/plugins/askimet.php
如果您只想阻止google索引，您可以添加一个用户代理：

User-agent: Googlebot

Using set Header

您还应该能够使用.htaccess 为了这个。尝试在您的.htaccess 文件：

<Directory wp-content>
  Header set X-Robots-Tag "noindex"
</Directory>
要使上述内容起作用，您需要mod_headers apache中启用的模块。您可以通过执行以下操作来启用此模块：

sudo a2enmod headers
sudo apachectl restart

标签： robots.txt   小码农  

相关推荐

Virtual robots.txt missing

在每个WordPress安装上都有一个默认的虚拟robots.txt 使用以下文件归档User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php 但在我的上一个项目中/robots.txt 给我一个404。我试着禁用所有插件，我试着用一个空白的插件来切换主题，我试着查看另一个我上周更新的旧项目androbots。txt正在工作这与服务器无关，因为它适用于我的本地环境和旧项目知道为什么吗？