讲解网站中robots.txt文件到底是干什么的？
LinMu Lv3
  2021-01-30 11:15:00 2021-01-30 11:15   2023-10-18 21:20:52    

1、引导搜索引擎蜘蛛抓取指定栏目或内容；

2、网站改版或者URL重写优化时候屏蔽对搜索引擎不友好的链接；

3、屏蔽死链接、404错误页面；

4、屏蔽无内容、无价值页面；

5、屏蔽重复页面，如评论页、搜索结果页；

6、屏蔽任何不想被收录的页面；

7、引导蜘蛛抓取网站地图；

  • 本文标题：讲解网站中robots.txt文件到底是干什么的？
  • 本文作者：LinMu
  • 创建时间：2021-01-30 11:15:00
  • 本文链接：posts/2330b865.html
  • 版权声明：本博客所有文章除特别声明外，均采用 BY-NC-SA 许可协议。转载请注明出处！
 评论
  1. 1. 1、引导搜索引擎蜘蛛抓取指定栏目或内容；
  2. 2. 2、网站改版或者URL重写优化时候屏蔽对搜索引擎不友好的链接；
  3. 3. 3、屏蔽死链接、404错误页面；
  4. 4. 4、屏蔽无内容、无价值页面；
  5. 5. 5、屏蔽重复页面，如评论页、搜索结果页；
  6. 6. 6、屏蔽任何不想被收录的页面；
  7. 7. 7、引导蜘蛛抓取网站地图；