今天我收到一封来自谷歌网站管理员的邮件，说谷歌机器人无法找到机器人。我的网站的txt文件。

这实际上并不是一个问题（至少从爬行的角度来看，这可能是因为从爬行中排除了文件主要用于的内容）。这个robots.txt 对于要爬网的站点来说，这两者都不是必需的。

我还试图通过http://www.mydomain.com/robots.txt 但文件不在那里。相反，消息显示如下。

这实际上是robots.txt. :) 这就是其中的规则。

如果您的安装没有物理robots.txt WordPress以外的文件将为虚拟文件提供服务，使用do_robots() 生成它。

很难说谷歌为什么不访问该文件（因为你似乎能够访问）。这可能是暂时的问题，会自行解决，否则您可能想联系主机并询问是否有什么东西可能会干扰谷歌机器人访问您的网站。