为什么谷歌站长工具说我的整个网站被robots.txt屏蔽了,而我没有robots.txt?

时间:2014-04-24 作者:CharlesMabe

我向谷歌网站管理员工具提交了WordPress网站的网站地图。好几次。我一直收到同样的信息:

“Url被robots.txt阻止。”和“站点地图包含被robots.txt阻止的URL。”

但我没有机器人。txt任意位置。看来我的整个网站和上面的每个链接都被Googlebot阻止了。我正在使用WordPress的Yoast SEO插件和Cloudflare,但我禁用了它们并清除了缓存,但没有任何效果。起初我以为是尤斯特的错。

WordPress的“搜索引擎可见性”设置未选中“阻止搜索引擎为此网站编制索引”,这是应该的。现在我想知道WordPress是否创建了自己的虚拟机器人。txt或其他在站点根目录中未显示的内容。

有什么好处?我需要等几天吗?我从来没有机器人。txt开头!

3 个回复
SO网友:Mayeenul Islam

我也遇到了类似的问题,我得到了以下解决方案:

  • Step 1: 备份您的.htaccess 文件,然后将其删除(别担心,下次刷新时WordPress会为您创建一个)
  • Step 2: 如果没有robots.txt 存在,创建一个空白页Step 3: 将站点地图重新提交给google网站管理员工具Step 4: 另外,使用“像谷歌一样爬行”并再次添加网站,以确认一切正常,希望在短时间内您的网站将被索引。

SO网友:Otto

现在我想知道WordPress是否创建了自己的虚拟机器人。txt或其他在站点根目录中未显示的内容。

WordPress正是这样做的,但只有当你“沮丧”搜索引擎时。

如果你去http://example.com/robots.txt? 哪里example.com 当然是你的网站。

SO网友:Abhik

您是否在子目录中安装了WordPress?如果是,则检查根文件夹中的robots文件。

如果没有,请检查“设置”>“读取”中是否禁用了搜索引擎索引。

如果您正在使用任何SEO插件,请检查那里的设置。虽然在WordPress核心设置和插件设置中默认都启用了索引,但只是为了确保也检查它们。

结束

相关推荐

What is a good robots.txt?

什么是“最佳”设置robots.txt?我正在使用以下permalink结构/%category%/%postname%/.我的robots.txt 目前看起来像这样(从很久以前的某个地方复制):User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache