在你了解网络爬虫是如何工作的以及如何吸引它之前，你首先必须知道它们是什么。 搜索引擎爬虫是搜索引擎世界的步兵。像谷歌这样的搜索引擎有一些东西想从排名靠前的网站上看到。爬行器在网络上移动，并执行搜索引擎的意愿。