关于WordPress站点上的robots.txt文件的问题

时间:2016-09-21 作者:David D

我不知道为什么,但谷歌开始索引一些我们服务器上没有的页面。大多数页面带有?tag=22&page=30 查询字符串。顺便说一句,我们没有任何“标签”,因此该网站的谷歌搜索控制台上的404页数量增加了。

?tag=22&page=30
?tag=27&page=530
?tag=27&page=600
?tag=309&page=81
如何关闭/禁止访问此文件?

我添加了这一行,但我不确定它是否有效:

Disallow: /?tag*

1 个回复
SO网友:sdexp

这里有一些info about robots.txt. 看起来您的示例无法正确使用*但是,在我看来,如果您删除*就可以了。

你可以随时检查机器人。txt at,带有类似的验证器this one

相关推荐

Virtual robots.txt missing

在每个WordPress安装上都有一个默认的虚拟robots.txt 使用以下文件归档User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php 但在我的上一个项目中/robots.txt 给我一个404。我试着禁用所有插件,我试着用一个空白的插件来切换主题,我试着查看另一个我上周更新的旧项目androbots。txt正在工作这与服务器无关,因为它适用于我的本地环境和旧项目知道为什么吗?