robosts文件有什么用处?怎么写？
一、robosts的重要性，可以屏蔽什么？ 1、保护网站隐私，防止信息泄露。 2、站内那些页面需要参与排名，站内在优化的角度说，合理抓取资源。屏蔽内容，不想被抓取的隐私内容、后台、数据库文件、模板、插件文件···或者做了伪静态就屏蔽动态路径。 3、屏蔽垃圾页面和重复页面（动态和静态，多路径的同一页面）中文链接 屏蔽死链接。 二、robosts怎么写？ 做优化必须要写robosts，搜索引擎和网站的一个协议 ①写robosts：新建一个文本robosts.txt文件...