我有一个网站，有网页被索引在谷歌的形式。。。
site.com/?p=1
site.com/?category_name=uncategorized
site.com/?author=1
site.com/?m=201103
由于该站点的永久链接自创建以来已设置为postname，我正在尝试确定这些链接是如何创建的，以及在哪里可以找到创建链接索引的源文件。
我意识到该站点可能是在permalink更新之前建立索引的，但我只是想确定是否有一个我不知道的脚本可以被搜索引擎蜘蛛访问。
有什么见解吗？
最合适的回答,由SO网友:John P Bloch 整理而成
机器人会查看两个地方：你的网站地图（如果你向谷歌提交了一个），和你的机器人。txt。WordPress本身不会在机器人中放置任何东西。txt（除非您将站点设置为私有，否则它会告诉机器人程序不要索引任何内容），也不会创建google将使用的xml站点地图。
不过，有一些插件可以为您实现这一点。我知道Google XML Sitemaps 很受欢迎，对我很有用。Yoast的SEO plugin 还可以为您创建网站地图。
我认为让谷歌正确开始索引的最简单方法是用这两个插件中的一个创建一个网站地图，然后使用谷歌网站管理员工具将其提交给谷歌。
