相信每位站长都很烦那些垃圾蜘蛛和垃圾ip,总是使劲的爬自己的网站,以SemrushBot、SM-G900P等垃圾蜘蛛UA和某个特别熟悉的安卓UA(SM-G900P)为例,它们一天天爬个不停,把服务器cpu爬得通红都不放过。
下面以宝塔为例,教大家怎么简单的快速屏蔽垃圾的蜘蛛和垃圾ip。
屏蔽国外蜘蛛我们只需要分三步:
1、打开宝塔的网站管理-点击你要屏蔽的网站的设置;
2、弹窗出来后点击伪静态;
3、复制下方的代码到里面第一行;
if ($http_user_agent ~* (SemrushBot|DotBot|HttpClient|MJ12bot|SemrushBot|Barkrowler|AhrefsBot|PetalBot|BLEXBot|SM-G900P)) { return 403;}
操作成功的图片如下:
通过上面的一番操作对垃圾蜘蛛返回403错误提示,即可有效的屏蔽掉这些垃圾爬虫了。