您当前的位置：首页 > TAG信息列表 > robots.txt
旧的robots.txt文件没有更改，无法更新到当前的robots.txt
在我的wordpress网站制作期间，我创建了一个机器人。txt文件来禁止一切。网站准备好后，我删除了机器人。txt文件通过cpanel传输，但从未想过这一点。最近，我意识到这个网站没有出现在谷歌的搜索结果上，经过进一步调查，我意识到老机器人。txt文件仍然存在（尽管我在根文件夹中找不到该文件）。http://youngauthors.my/robots.txt我插入了另一个机器人。我的根文件夹中的txt文件，这次使用允许选项，而不是不允许。但它没有更新，仍然阻止谷歌访问该网站。
Virtual robots.txt missing
在每个WordPress安装上都有一个默认的虚拟robots.txt 使用以下文件归档User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php 但在我的上一个项目中/robots.txt 给我一个404。我试着禁用所有插件，我试着用一个空白的插件来切换主题，我试着查看另一个我上周更新的旧项目androbots。txt正在工作这与服务器无关，因为它适用于我的本地环境和旧项目知道为什么吗？
阻止搜索引擎索引页面2、3和更多页面？
您知道如何防止在WP中对超过主页的页面进行索引吗？我是说我不想mysite.com/page/2, mysite.com/page/3 要编制索引。这是因为我使用home.php 为了我的主题page/2, page/3都是一样的。请给我一个提示或代码片段，我不想再添加一个插件（robots meta）。
What is a good robots.txt?
什么是“最佳”设置robots.txt?我正在使用以下permalink结构/%category%/%postname%/.我的robots.txt 目前看起来像这样（从很久以前的某个地方复制）：User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache
使用Yoast的Seo插件设置robots.txt
我在找一个像样的机器人。我的wordpress网站的txt解决方案，经过一些搜索，我找到了Yoast的SEO插件，它提供了一个完整的SEO解决方案，包括索引。我把它设置为not 索引以下页面：搜索结果、登录和注册页面、所有管理页面、基于日期的存档和标记存档。然而，当我查看这些页面的源代码时，除了登录/注册页面之外，我找不到任何meta robots标记。除了robots meta和robots之外，还有其他方法告诉搜索引擎索引什么吗。txt？如果没有，这些未被索引的页面的指示在哪里？提前感谢
Questions about Robots.txt
我需要一些机器人方面的帮助。txt。在“隐私设置”下，我选择“我希望我的博客对所有人都可见，包括搜索引擎…”据我所知，WordPress会自动创建一个机器人。txt文件。但是，我需要从自动生成的机器人中排除一个页面。txt文件。假设该页面名为“myPage”。如何防止我的页面被索引？如果我自己制造静态机器人。txt是否会被WordPress的动态版本覆盖？还有WordPress的自动生成机器人。txt是否排除不应编制索引的wp admin等文件？非常感谢。-拉克西米迪
自动生成的robots.txt问题
我在隐私设置中设置了一个站点可见性，允许搜索引擎查看我的站点，但由于某些原因，当我转到自动生成的机器人时。显示的txt文件用户代理：*不允许：切换站点可见性只会添加/删除尾部斜杠，即“不允许：/”我有两个相关的插件“all-in-one seo tools”和“google xml sitemaps”，但我禁用了这两个插件都没有用任何想法任何人。。。。我知道如何用手动站点地图覆盖这一点，但我正试图找出这是否是WordPress的预期行为，如果是，为什么
你能为WordPress验证一下我的robots.txt吗？
我是写这篇文章的新手，因为这是一件很危险的事情（如果你不知道自己在做什么），你能验证一下吗？我使用wordpress多站点，这就是为什么我选择允许博客。目录我只想把我的帖子和类别编入索引。就是这样：）User-agent: * Disallow: /cron/ Disallow: /lo/ Disallow: /portfolio.html Disallow: /wp-admin/ Disallow: /wp-content/ Disal
在多站点安装上为每个站点创建唯一的robots.txt
有人知道我怎么能拥有一个独一无二的机器人吗。我的wp multisite安装服务的每个域的txt文件？我搜索了插件，但没有找到合适的插件。
鉴于搜索引擎的奇怪行为，我担心WP网站有一个时髦的.htAccess
我的朋友在5个多月前创建了一个新的（非商业）博客，但谷歌+必应的表现就像我们告诉它不要被索引一样。我不是说它排名很低。我的意思是它不排名at all.我查看了谷歌网站管理员工具。无恶意软件/不良代表。Google + Bing crawl it regularly, but index no pages.我最初怀疑机器人。txt，但GWT并没有对此抱怨。所以现在我转向。htaccess。你觉得这很奇怪吗？Feedburner有两个入口？是否在同一条目中拒绝来自所有人和允许来自所有人？我对此一无所知。hta
WP_REDIRECT和搜索引擎机器人
我有一些网页和类别，你必须在有权访问的血液。我正在使用wp\\u重定向将任何未登录的人发送到首页，如果他们试图打开这些页面。阻止任何搜索机器人为这些页面编制索引就足够了吗？
这个robots.txt是不是让谷歌不显示我的一些内容？
http://chineselearnonline.com/User-agent: * Disallow: /feed/ Disallow: /trackback/ Disallow: /wp-admin/ Disallow: /wp-content/ Disallow: /wp-includes/ Disallow: /xmlrpc.php Disallow: /wp- Sitemap: http://chinesele
如何阻止WordPress显示一个虚拟的robots.txt？
我能看到机器人。此处为txt文件：http://persian.cc/robots.txt但谷歌不能！我知道我能找到robots.txt 文件位于网站的根目录中，但嘿，没有机器人。我的txt文件和这个robots.txt 是WordPress制作的虚拟版本。现在如何阻止wordpress这样做？或者如果我不能阻止wordpress显示虚拟robots.txt 文件，我如何才能阻止谷歌在我的网站上寻找它？也许是.htaccess 代码还是什么？
Add robots.txt to root
我有一个新的Wordpress 3.5.1安装程序（托管在Dreamhost FWIW上）not 希望被搜索引擎索引。我想服务一个简单的机器人。txt带Disallow: / 对于所有用户代理。我已选中“设置”>“阅读”菜单上的“阻止搜索引擎为此网站编制索引”框，但http://mysite.com/robots.txt 仍然返回404。有没有办法让Wordpress自动生成并服务于合适的机器人。txt文件？如果没有，配置它来为我自己的静态机器人服务的最佳方式是什么。txt文件？
如何使用WordPress全新安装解决robots.txt问题？
几周前，我安装了一个新的WordPress，我遇到了一些奇怪的问题。1-我收到这样一条消息：“FirstName LastNamename-last.com的评论/由于此网站的机器人，因此无法提供此结果的描述。txt–了解更多信息。“当我用谷歌搜索我的名字时。我重新检查了设置，但没有选中“劝阻选项”2-我安装了WP Better Security和Yoast SEO插件。现在我有另一个问题了！当我在谷歌上搜索我的域名时，会出现随机网络嗅探网站，暴露我的数据服务器和更多东西！我哪里出错了？附言：我的机器人
对Google和访问者隐藏页面
我有wordpress网站，在那里我几乎没有自定义类型的页面。我使用jquery加载加载这些页面的内容。但我不希望这些页面直接可见。所以如果用户转到http://www.domain.com/work/project-name 它是看不见的。或者至少搜索机器人不会索引这些在/工作中的页面/我用单曲。php为html为页面。我该怎么办？只需拒绝搜索机器人与机器人一起使用即可。txt？我是否可以拒绝用户也去那里，但仍然保持jquery负载正常工作。谢谢
Disable Ajax for Spiders
我们在wpegnine上有一个网站，每天访问量约为2万次，在很大程度上依赖ajax作为我们的入站营销策略（潜在客户/访客处理）。这些ajax调用正在破坏我们的服务器性能。我认为，缓解我们的问题的一个好方法是为爬行器禁用对wp admin的所有AJAX调用。他们不需要看到我们对行动的动态调用，我们也不需要任何访问者跟踪这些蜘蛛。我们如何设置我们的机器人。txt或更好的解决方案中的代码可以防止爬行器使用这些资源？
为什么谷歌站长工具说我的整个网站被robots.txt屏蔽了，而我没有robots.txt？
我向谷歌网站管理员工具提交了WordPress网站的网站地图。好几次。我一直收到同样的信息：“Url被robots.txt阻止。”和“站点地图包含被robots.txt阻止的URL。”但我没有机器人。txt任意位置。看来我的整个网站和上面的每个链接都被Googlebot阻止了。我正在使用WordPress的Yoast SEO插件和Cloudflare，但我禁用了它们并清除了缓存，但没有任何效果。起初我以为是尤斯特的错。WordPress的“搜索引擎可见性”设置未选中“阻止搜索引擎为此网站编制索引”，这是应
在我的robots.txt中添加了不需要的“Crawl Delay：10”行
我注意到当我向我的robots.txt 佩奇，我用crawl delay: 10 添加到其中的行。我仔细检查了文件，但它没有那一行，为什么会出现？这可能是一些插件的奇怪行为吗？
谷歌无法抓取我网站的robots.txt文件，请帮助我
今天我收到一封来自谷歌网站管理员的邮件，说谷歌机器人无法找到机器人。我的网站的txt文件。我还试图通过http://www.mydomain.com/robots.txt 但文件不在那里。相反，消息显示如下。“用户代理：*不允许：/wp admin/网站地图：http://www.mydomain.com/sitemap.xml“”请帮帮我，我需要找到机器人在哪里。位于wordpress中的txt文件？如何让它再次被谷歌抓取？或者如果我需要创造一个新的机器人。txt文件那么怎么做呢？我该如何处理之前的机器