详细罗列出各个搜索引擎蜘蛛日志及服务器常见状态码含义
其实我们做seo网站优化的一般来说都是一个全知全能的职位，因为做优化做排名影响的因素太多了，就比如我们今天要讲的课题，日志的分析如果不会分析看不懂蜘蛛的爬行轨迹，那么在优化的过程中出现问题，就很有可能思路是错的而不自知。 IIS日志的用途就是能够观察搜索引擎的蜘蛛来我们网站的爬取情况，可以更近距离的分析和接触蜘蛛。爬取次数，爬取时间点，爬取高峰期，爬取反应出来的HTTP状态码，为我们带来清晰的分析便利。 一、各大搜索引擎的蜘蛛名称： 百度(Baidu)爬虫名称(Baiduspider)...