主流蜘蛛分析——Yisouspider

湖中沉

Yisouspider是神马搜索的蜘蛛，神马搜索根据网站规模、服务能力、页面质量、更新速度等因素决定对网站的访问频率。通常更新快、质量高的网站Yisouspider访问频率相对较高。如果您发现Yisouspider非正常抓取您的网站，请反馈给神马搜索，并请尽量给出Yisouspider的访问日志便于跟踪处理。

robots.txt必须放在网站根目录下，且文件名要小写。
具体写法：
（1） 完全禁止Yisouspider抓取：
User-agent: Yisouspider
Disallow: /
（2） 禁止Yisouspider抓取指定目录
User-agent: Yisouspider
Disallow: /update/
Disallow: /history/
禁止抓取update、history目录下网页


2013年7月，阿里巴巴与UC的合资公司“神马移动”成立。业务总裁由UC公司CTO梁捷出任。
2014年4月，UC优视与阿里巴巴共同发布旗下移动搜索引擎品牌——神马。
2014年6月，UC 与阿里巴巴全面融合，成立阿里巴巴移动事业群，神马搜索成为阿里巴巴的全资品牌。
2015年3月11日神马搜索宣布，与云知声达成战略合作，将共同探索语音搜索创新，以满足智能移动硬件设备用户需求。
2015年10月，阿里巴巴旗下的移动搜索品牌神马搜索宣布推出了全新的移动搜索交互产品——蓝光模式。
2018年4月，神马搜索起诉搜狗公司非法劫持流量案在海淀法院开庭。