由于搜狗蜘蛛优化较差,不按规则抓取,且抓取时会对服务器造成类似DDOS攻击的假象。 我们建议在robots.txt文件里写上 User-agent: Sogou web spider Disallow: / User-agent: sogou spider Disallow: / User-agent: * Disallow: 另外可以在cpanel错误日志和最近的访客中查看导致出错较多的IP地址,在IP拒绝管理器中将其屏蔽。 标签:sogou搜狗蜘蛛 分享到: 更多
近期评论