解析网站内容处理和索引的原理，寻迹搜索引擎的爬行与抓取规则
当网站内容被搜索引擎蜘蛛爬行和抓取之后，就会对网站抓取的内容进行特殊的筛选处理，被称为索引，其中主要的处理方法有提取文字、中文分词、去停止词、去重、正向索引、倒排索引、链接关系计算等。 一、搜索引擎建立索引库的原理 一般在搜索引擎抓取的原始页面不是直接参与排名和处理的，因为在搜索引擎的数据库中有成千上万的内容，我们用户在输入一个关键词之后，需要搜索引擎按照排名顺序对相关联的页面进行逐个分析，不可能在几秒之内给予回复，所以搜索引擎一般都会将抓取的页面进行排查处理，建立相应的索引库...