找回密码
 注册加入
搜索
查看: 2077|回复: 0

主流蜘蛛分析——360Spider

[分享]
发表于 2024-4-9 15:36:42 | 显示全部楼层 |阅读模式
360搜索的蜘蛛在访问网站时,都会带上带有360Spider签名信息的UA,其形态为:
  1. Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36; 360Spider
复制代码

但是我们知道UA是可以伪装的,所以在判断是否是搜索引擎蜘蛛爬取,还是有人伪装搜索引擎蜘蛛爬取的时候,除了识别UA,也要结合IP进行判断。


6d38e7b331dd8a7726e85fa9ed4d56df.jpg

您需要登录后才可以回帖 登录 | 注册加入

本版积分规则

Archiver|手机版|小黑屋|Discuz!扩展中心 - 杭州富迪文化艺术策划有限公司 版权所有 ( 浙ICP备14042422号-1 )|网站地图QQ机器人

GMT+8, 2025-5-2 10:44 , Processed in 0.265457 second(s), 10 queries , Gzip On, Redis On.

Powered by Discuz! X5.0

© 2001-2025 Discuz! Team.|IP地址位置数据由 纯真CZ88 提供支持

快速回复 返回顶部 返回列表