恶意蜘蛛行为特征

恶意蜘蛛对网站的负面影响有时是十分显著的,所以我们需要通过数据分析来找出它们,并且屏蔽他们的访问或抓取行为。

通常恶意蜘蛛通过抓取网站信息来获得用户的隐私信息,或者获取网站中受保护的或私有的信息,通过将出售这些用户信息获利;或者恶意蜘蛛通过不断地爬取给网站造成不必要的负担,降低网站的访问性能,从而影响其他正常用户的访问。恶意蜘蛛的行为特征主要有如下几种:

1、忽略robot.txt的说明;
2、访问robot.txt中被禁止抓取的页面;
3、快速地索引整个网站从而降低真正用户的性能;
4、通过动态页面紧跟你不想索引的链接。

利用cPanel屏蔽恶意蜘蛛

首先我们从cPanel-Awstats中查看到大部分流量跑掉是来自非浏览器访量。这样我们基本确定是由于恶意蜘蛛引起的。
然后我们进入cPanel-最近的访客,查看到哪个蜘蛛造成的访量最高(如Agent为Sogou的),看到其IP地址,记录下来。
最后我们进入cPanel-IP 拒绝管理器,将记录的IP地址添加到禁止访问即可。

附加说明:
您也可以尝试将一下代码保存为robots.txt后放在public_html文件夹下

 

 

User-agent: sogou spider

Disallow: /

User-agent: Sogou web spider

Disallow: /

User-agent: YodaoBot

Disallow: /

User-agent: MSNBot

Disallow: /

User-agent: *

Disallow: /author/

Disallow: /page/

Disallow: /wp-

Disallow: /comments/

Disallow: /trackback/

Disallow: /tag/

Disallow: /category/

 

分享到: 更多