使用IP地址范围限制和隐藏好处

2021-02-27 21:46:10发布

1条回答
天宇老师
1楼 · 2021-02-27 22:00:53.采纳回答

你可以自定义全部的IP地址或范围来阻止特定机器人通过服务器端在IP的限制条件,大部分搜索引擎爬行的IP范围数量是有限的,因此我们能识别这些IP,限制访问。具有讽刺意味的是,这一技巧非常受网络管理者的欢迎,他们错误地认为搜索引擎爬虫是想偷盗其内容的垃圾信息制造者,因此会想法设法地缩小IP范围限制访问,节省带宽。当你限制机器人时,要非常小心,你要确保自己没有限制那些能够为你带来好处的爬虫对页面进行访问,因为它们能为你带来搜索流量和链接。

TAG标签:

一周热门 更多>

相关问答