关于WordPress站点上的robots.txt文件的问题 时间:2016-09-21 作者:David D 我不知道为什么,但谷歌开始索引一些我们服务器上没有的页面。大多数页面带有?tag=22&page=30 查询字符串。顺便说一句,我们没有任何“标签”,因此该网站的谷歌搜索控制台上的404页数量增加了。?tag=22&page=30 ?tag=27&page=530 ?tag=27&page=600 ?tag=309&page=81 如何关闭/禁止访问此文件?我添加了这一行,但我不确定它是否有效:Disallow: /?tag* 1 个回复 SO网友:sdexp 这里有一些info about robots.txt. 看起来您的示例无法正确使用*但是,在我看来,如果您删除*就可以了。你可以随时检查机器人。txt at,带有类似的验证器this one 文章导航