禁止sogou spider搜狗蜘蛛恶意抓取导致垃圾流量

由于搜狗蜘蛛优化较差，不按规则抓取，且抓取时会对服务器造成类似DDOS攻击的假象。

我们建议在robots.txt文件里写上

User-agent: Sogou web spider
Disallow: /
User-agent: sogou spider
Disallow: /
User-agent: *
Disallow:

另外可以在cpanel错误日志和最近的访客中查看导致出错较多的IP地址，在IP拒绝管理器中将其屏蔽。

分享到：更多