我的网站是在wordpress安装在它自己的子目录中的地方设置的，但内容就像是在域根目录中一样
（此wordpress codex page 详细说明配置）
Wordpress Url：https://www.example.com/wordpress
网站Url：https://www.example.com
因此，在这种情况下，URL被重新写入，不包括/wordpress 在url中，它为来自的页面提供服务（尽管图像url包括：https://www.example.com/wordpress/wp-content/uploads/...).
页面的URL为：www.example.com/mypage/
非：www.example.com/wordpress/mypage/
但图像链接是：www.example.com/wordpress/wp-content/uploads/2018/12/25/image1.jpg
Question:<我要把robots.txt 和sitemap.xml 在我的服务器上的“webiste root”目录中(example.com)
或其wordpress 目录(example.com/wordpress) ?
我在任何搜索中都找不到这种特殊情况<此外，反复试验也没有帮助，因为我从各种站点地图和机器人验证器中得到了相互冲突的结果。
此外，似乎有些插件或WordPress的某些部分坚持创建虚拟站点地图(sitemap.xml.gz) 和机器人(robot.txt) 文件，这进一步加剧了我definitively determine 放置这些文件的正确位置，用于此常见但非标准的设置。
最合适的回答,由SO网友:Shawn W 整理而成
您可以安全地放置您的机器人。txt文件以及站点地图。xml文件到您的网站根目录中NOT WordPress目录。
当机器人访问您的站点时，它首先检查的地方是http://sitename.com/robots.txt, 因此，您希望将这些文件保留在域的根目录下。
您还可以禁止机器人访问的内容
User-agent: * # applies to all robots
Disallow: / # disallow indexing of all pages
Disallow: wordpress/wp-admin/
Disallow: wordpress/wp-includes/
Disallow: wordpress/wp-content/plugins/
W3.org
