当谷歌的爬虫到达一个新网站时，它们会立即下载该网站的robots.txt文件。robots.txt文件为spider提供了关于网站上可以和应该对哪些页面进行爬网的规则。它还允许他们查看网站地图，以确定页面的总体布局以及如何对其进行编目。Robots.txt是SEO难题中有价值的一块，但它是许多网站建设者无法直接控制的。你的网站上有一些单独的页面，你可能想避开谷歌的爬虫。