满足百度蜘蛛对全站的爬行，简单策略是从深度抓取与广度抓取
一般情况下，做seo的人员对于百度搜索引擎蜘蛛实现网站的抓取收录规则，应该都会有所了解，其实百度蜘蛛抓取，就是通过程序发出页面访问请求后，服务器返回网页代码，蜘蛛对页面代码进行抓取，索引入库，根据网站权重及质量度，搜索引擎将对网站进行不同频次抓取。 因为互联网的数据量都是很庞大，关联很多的链接，但是在这个过程中可能会因为各种原因页面链接进行重定向，在这个过程中就要求百度蜘蛛对url重定向进行识别，做网站到上线基本的准则，就是满足百度蜘蛛能够对网站进行全面抓取...