由于搜狗蜘蛛优化较差,不按规则抓取,且抓取时会对服务器造成类似DDOS攻击的假象。

我们建议在robots.txt文件里写上

User-agent: Sogou web spider
Disallow: /
User-agent: sogou spider
Disallow: /
User-agent: *
Disallow:

另外可以在cpanel错误日志和最近的访客中查看导致出错较多的IP地址,在IP拒绝管理器中将其屏蔽。

分享到: 更多