您当前的位置：首页 > TAG信息列表 > robots.txt
设置无索引页-第2页、第3页和更多页的评论？
我使用多功能seo包插件。我看到谷歌索引的页面评论（即从分页评论生成的页面）。示例url如下所示：URL规范-mydomain。com/url规范url评论页-mydomain。com/url-canonical/comment-page-3问题是“url-comment-page”本身是规范的，而不是主页。我想为所有帖子设置为noindex all comment page。有可能吗？我看到AIO SEO有aioseo\\u filter\\u robots\\u meta，但我不知道如何过滤评论页面。
关于WordPress站点上的robots.txt文件的问题
我不知道为什么，但谷歌开始索引一些我们服务器上没有的页面。大多数页面带有?tag=22&page=30 查询字符串。顺便说一句，我们没有任何“标签”，因此该网站的谷歌搜索控制台上的404页数量增加了。?tag=22&page=30 ?tag=27&page=530 ?tag=27&page=600 ?tag=309&page=81 如何关闭/禁止访问此文件？我添加了这一行，但我不确定它是否有效：Disallow: /?tag*&#x
“robots.txt文件中没有链接的站点地图”
在WordPress中，对任何不需要常识的东西都是比较新的。我以前的网站建设得很差，所以长话短说，我安装了一个新的主题，并开始重新建立页面等等。我在工作期间对seo等进行了各种诊断，似乎在可索引性和网站地图方面存在问题。正在onpage上获取此消息。组织网站检查，并在另一个平台上有类似的内容，因为它说有一些资源被限制索引。请尽快帮助我，因为我有很好的排名，不希望这影响下一次爬网。
动态生成robots.txt
我有一个子文件夹WP安装。它为链接到同一文件夹的多个域提供服务。在wp config中接收到请求的域。php（来自$\\u服务器变量），用于定义WP\\u SITEURL、WP\\u HOME和DOMAIN\\u CURRENT\\u站点。所以我们可以从域中打开相同的。com和域。co.uk公司。我需要将指向XML sitemap的链接添加到robots。txt，显然，它应该根据请求的域而有所不同。有一个do\\u robots（）原生WP函数可以生成机器人。txt用于多站点，并允许使用主题函数中的rob
为什么一些用户代理仍然从我的站点得到一个没有索引的元机器人标签？
一位朋友向我指出，由于存在<meta name=\'robots\' content=\'noindex,follow\' /> 主页中的标记。好的，应该很容易把它关掉，对吧？错误的站点使用Genesis框架，在SEO设置中，没有任何选项能够生成noindex。转到单个页面（主页是一个页面，而不是帖子），看那里，那里也没有选中任何noindex选项。好的，我确实看到了一件事，就是产生一个机器人。txt，全部不允许。我不知道是什么在起作用，但这没有帮助，所以我上传了一个新的机器人。tx