搜索引擎要“知道”网上的新生事物，就得派“人”出去收集。每天都有新的网站，每天都有新的内容，而且这些新的内容是爆炸式的，靠人工不可能完成收集任务，所以搜索引擎的发明者就设计了一个计算机程序来执行这个任务，而这个计算机程序被人们称为“探测器”。 探测器有很多叫法，如Crawler（爬行器）、Spider（蜘蛛）、Robot（机器人）。这些叫法形象地描绘了搜索引擎派出的蜘蛛机器人爬行在互联网上探测新信息的情景，Google的探测器叫做Googlebot，百度的探测器叫做Baiduspider...
阅读更多