robots具体应该禁止些什么文件?

2020-12-05 21:15:35发布

1条回答
季云老师 - 季云SEO
1楼 · 2020-12-05 21:22:50.采纳回答

  robots协议是更为了更好的辅助百度蜘蛛的抓取,节省百度蜘蛛的资源,

  所以不要让蜘蛛去爬取一些无价值的页面,保护我们的重要用户账号数据不被抓取展现, 下面举例列出来:

  1、模板文件(/template/)可以屏蔽;

  2、这个文件/uploads/一般放的是图片,可以屏蔽;

  3、/data/系统数据文件,可以屏蔽;

  4、/img/或/images/,如果你不是做的图片站,也可以屏蔽;

  5、/bin/系统文件可以屏蔽;

  6、/install/安装文件可以屏蔽; 7、/member/有会员的可以屏蔽;

  8、/logreport/有统计报告的可以屏蔽; 9、/bjk/有加密的文件,可以屏蔽;

  10、/js/,/css/可以屏蔽,留着是为了让蜘蛛更好地了解网站结构,资源少的情况下,可以屏蔽。

  11、网站地图,sitemap要记得放进去,不要屏蔽,让蜘蛛第一时间去看你的网站地图,更快了解网站链接结构!

总结:记得回头要检查一下我么是否写对了没?因为百度对于用户的数据非常的感兴趣,会优先收录。



TAG标签: robots协议