google搜索引擎收录网站的原理
探寻蜘蛛和探寻机器人搜索引擎要知道网上的新生事物，就得派人出去搜集。我们提到，在Yahoo创办初期，许多编辑天天泡在网上，访问新鲜网站，然后将搜集来的信息整理成序。当时的网站数量少，做起来比较容易。而现在新网站的出现数量、老网的更新都是爆炸式的，靠人工是不可能完成这个任务的。所以，搜索引擎的发明者就设计了计算机程序，派它们来执行这个任务。 探测器有多种叫法，也叫crawler（爬行器）、spider（蜘蛛）、robot（机器人）...
探寻蜘蛛和探寻机器人搜索引擎要知道网上的新生事物，就得派人出去搜集。我们提到，在Yahoo创办初期，许多编辑天天泡在网上，访问新鲜网站，然后将搜集来的信息整理成序。当时的网站数量少，做起来比较容易。而现在新网站的出现数量、老网的更新都是爆炸式的，靠人工是不可能完成这个任务的。所以，搜索引擎的发明者就设计了计算机程序，派它们来执行这个任务。 探测器有多种叫法，也叫crawler（爬行器）、spider（蜘蛛）、robot（机器人）...