robots如何屏蔽某几个蜘蛛抓取

2019-11-05 09:45:00发布

1条回答

首先要知道不同搜索引擎爬虫的名称,百度爬虫是Baiduspider,Google爬虫是Googlebot,360搜索爬虫是360Spider;
1.屏蔽百度或某一爬虫抓取:

User-agent: baiduspider
Disallow: /