WordPress是否列出了爬虫程序的所有页面？

时间：2019-06-18 作者：user83358

我在Wordpress网站上创建了一个仅供内部使用的页面，并触发了一些后端代码。几天之内，我开始在那个页面上看到“bingbot”的热门内容。

我没有使用任何类型的站点地图插件。爬虫如何查找此页面？

我认识机器人。txt文件可以阻止它们，但我想确保它们不会出现在不尊重这一点的爬虫上。如果有人键入URL，我仍然希望该页面可以公开访问。

在Wordpress中需要做些什么才能确保除了键入URL之外无法发现页面？

1 个回复
SO网友:Caio Mars

是的，如果它们是公共页面，WordPress会让它们被索引，除非你告诉它不要这样做。

尝试将此添加到您function.php 这是：

function allow_no_robots() {

    global $post;

    if ( $post->ID == PAGE_ID_TO_NOT_INDEX ) {
        echo \'<meta name="robots" content="noindex, nofollow">\';

} add_action( \'wp_head\', \'allow_no_robots\' );
应该这样做。

标签： pages   小码农  

相关推荐

具有Get_Pages的多个元密钥

我目前有以下代码，其中我按页面模板过滤；$pages = get_pages( array( ‘post_type’ => ‘page’, ‘meta_key’ => ‘_wp_page_template’, ‘meta_value’ => ‘unit.php’, ‘hierarchical’ => 0 ) ); 我还想按ACF字段排序，因此需要添加以下内容：；‘meta_key’ => ‘status’, ‘ord