robots可以干什么

2019-11-11 10:00:00发布

1条回答
晴天(sunny) - SEO学习了13年
1楼 · 2019-11-24 02:57:56.采纳回答

robots.txt是互联网搜索引擎抓取网站信息与不否的一种协议,可以设置成不让搜索引擎抓我们网站的信息,或者不允许搜索引擎抓取我们网站一些不重要的页面,这些页面对排名没有作用。

例如,网站个人中心页面,购物网站的购买信息页面,网站一些权益申明信息、这些页面就可以使用robots文件屏蔽掉搜索引擎蜘蛛抓取,不让这些页面被收录,保护了网站的SEO优化得分,不让无价值的页面才分散页面得分计算。