seo网站优化robots.txt使用中常见的误区
网站制作公司(误区1.Allow包含的范围超过Disallow，并且位置在Disallow前面。 比如有很多人这样写： User-agent: * Allow: / Disallow: /mulu/ 想让所有蜘蛛抓取本站除/mulu/下面的url之外的所有页面，禁止抓取/mulu/下面的所有url。 SEO网站优化搜索引擎蜘蛛执行的规则是从上到下，这样会造成第二句命令失效。也就是说禁止抓取/mulu/目录这条规则是无效的。正确的是Disallow应该在Allow之上，这样才会生效。 误区2...