robots.txt可以删除吗

2019-11-08 12:25:00发布

1条回答
晴天(sunny) - SEO学习了13年
1楼 · 2019-11-24 03:10:05.采纳回答

robots.txt可以删除吗,是可以的,这个是自己的权力,有需要有则写robots.txt文件,没有需要,没有要屏蔽掉的页面则不用写的,这里站长是需要有注意的事,您的网站如果屏蔽了大量的页面不被搜索引擎抓取,如果是从网站的根目录里,删除了这个robots.txt文件之后,等于就解出的原本屏蔽不想被收录的页面,而这些页面很下次搜索引擎蜘蛛来抓取页面的时候,就有可能重新收录原本被屏蔽的页面。所以删除robots.txt的时候,一定要考虑清楚。