怎么屏蔽抓取你WordPress网站的无用蜘蛛？

很久之前其实就发现一个问题，很多的蜘蛛来抓取你的网站，通过分析网站的日志文件可以看到，有很多蜘蛛我们是欢迎的，有些我们确实不想要的，但是却长期的在抓取，于是想要把他屏蔽掉，当天一般想到的办法可能是定义robots文件，但是这个似乎并没有用处，一方面有些蜘蛛并不遵守这个规则协议，照样抓取，一方面很多蜘蛛其实是仿冒的，比如你也可以仿冒百度蜘蛛的UA信息去抓取别人的网站，所以robots文件几乎是没法实现的。那么怎么屏蔽抓取你WordPress网站的无用蜘蛛？

之前介绍过宝塔免费的防火墙比较好用，可以借助这个防火墙功能，屏蔽恶意的无用的一些蜘蛛的UA信息，比如:

Mozilla/5.0(compatible;AhrefsBot/6.1;+http://ahrefs.com/robot/);

Mozilla/5.0(compatible;YandexBot/3.0;+http://yandex.com/bots)

等，这些几乎是国外的一些搜索引擎或者是根本不会带来任何好处比如搜索流量的，所以可以直接屏蔽他们。其他有益的蜘蛛需要保留不要误杀了，比如谷歌百度搜狗头条什么等等；除了防火墙可以屏蔽UA还可以借助CDN去实现屏蔽UA。

屏蔽抓取WordPress网站的无用蜘蛛的原因是什么？其实更多的是访问抓取网站的时候会消耗一定的服务器资源，带来带宽流量等消耗。