讲解网站中robots.txt文件到底是干什么的？
1、引导搜索引擎蜘蛛抓取指定栏目或内容；
2、网站改版或者URL重写优化时候屏蔽对搜索引擎不友好的链接；
3、屏蔽死链接、404错误页面；
4、屏蔽无内容、无价值页面；
5、屏蔽重复页面，如评论页、搜索结果页；
6、屏蔽任何不想被收录的页面；
7、引导蜘蛛抓取网站地图；
- 标题: 讲解网站中robots.txt文件到底是干什么的？
- 作者: linmu
- 创建于 : 2021-01-30 11:15:00
- 更新于 : 2021-01-30 11:15:00
- 链接: https://redefine.ohevan.com/posts/2330b865.html
- 版权声明: 本文章采用 CC BY-NC-SA 4.0 进行许可。
评论