主流蜘蛛分析——360Spider
360搜索的蜘蛛在访问网站时，都会带上带有360Spider签名信息的UA，其形态为：Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36; 360Spider
但是我们知道UA是可以伪装的，所以在判断是否是搜索引擎蜘蛛爬取，还是有人伪装搜索引擎蜘蛛爬取的时候，除了识别UA，也要结合IP进行判断。
页:
[1]