网站地图不包含所有页面

时间:2019-09-01 作者:Fozzy279

我有一个英国所有城镇/县/邮政编码的数据库,使用一个插件,我可以为每个城镇动态生成一个页面。然而,在站点地图中,只有大约25页(通常是顶级帖子/页面)

每个页面都可以找到/后跟页面上的链接,但这些链接永远不会添加到网站地图中。如何确保将所有页面添加到网站地图?-一个类似的例子是一个电子商务网站,其中有一个“页面”,动态填充产品细节。

作为一名非wordpress/PHP开发人员创建插件花了我一段时间才通过URL重写等方式得到我想要的东西,这让我有点泄气(多亏了这个网站的帮助!)但现在已经到了最后一个关口,因为如果没有一个页面可以爬网并添加到站点地图中,那么启动该站点就没有意义了。

这似乎是wordpress特有的问题,因为纯PHP/ASP中的相同结构似乎可以正常工作。

2 个回复
SO网友:Steve

首先,WordPress本身在SEO和结构方面做得非常好,有无数WordPress网站在前十名中排名,如果不是在给定搜索中排名第一的话。你的文章中没有任何东西会让我相信WordPress是问题所在。

其次,我认为您对什么是站点地图感到困惑。从你的评论和评论来看,听起来你实际上在谈论哪些页面是通过一些搜索引擎建立索引的。

什么是站点地图

网站地图是网站管理员通知搜索引擎其网站上可供爬行的页面的一种简单方法。最简单的形式是,站点地图是一个XML文件,其中列出了站点的URL以及关于每个URL的附加元数据(上次更新时,它通常会更改多少次,以及相对于站点中的其他URL它有多重要),以便搜索引擎可以更智能地对站点进行爬网。

从…起sitemaps.org

网站地图在获取网站及其内容索引方面非常有用,但您必须在网站中实现网站地图,并按照步骤将其提交给谷歌或其他搜索引擎。在谷歌的情况下,你需要使用谷歌搜索控制台。

列出索引页面

要列出搜索引擎为给定网站编制索引的所有页面,请转到该搜索引擎并输入以下内容,替换示例。com和您正在搜索的域名。我知道bing和Google支持这一点,但所有搜索引擎可能都不支持。

site:example.com
解决爬网和索引错误要确定一个或多个给定页面未被索引的原因,您需要使用谷歌的搜索控制台或单个搜索引擎工具来确定哪些页面已被扫描,以及可能发生了哪些技术错误阻止了它们被索引。请记住,这些结果通常是技术结果和错误,例如扫描期间遇到的404。

内容和SEO

即使搜索引擎扫描了你的整个网站,并且没有遇到任何技术错误,这并不意味着你的页面会被搜索引擎索引。

谷歌和其他公司使用各种规则来确定页面内容是否有意义,是否值得索引。因此,一个内容有限、结构不良或谷歌认为不相关的完美页面仍然不会被添加到索引中。

网站疑难解答

查看访问日志、错误日志。htaccess文件和PHP日志。这些通常表明您的PHP、Apache或存在问题。htaccess配置。

重写规则

您在OP中提到了重写规则,根据我的经验,我可以告诉您,这些规则可能非常棘手且有问题。我看到过一些规则似乎非常有效,除非它们不起作用,所以请仔细检查你的规则并验证你是否得到了想要的行为。

SO网友:Fozzy279

仅供参考,我发现了这个问题-我动态生成的页面在URL的末尾没有一个“/”t。一旦我添加了这个,网站就按预期进行了爬网。谢谢你的评论。