主流蜘蛛分析——Googlebot
Googlebot指的是Google的机器人，或蜘蛛。一般Google会让不同的Googlebot来对你的网页内容进行处理，其中包括：1， 抓取文字内容，获取内容来保存于Google网页搜索和新闻搜索的数据库。
2， Googlebot-mobile：它的功能是抓取网页中的文字内容来让手机用户搜索。
3， Googlebot-Image：抓取网页内的图片内容，保存入Google 图片搜索数据库。
4， Mediapartners-Google：抓取网页中的文字内容，用于Google Adsense 分析关键词。只有投放了Google Adsense 的网页才会被 Mediapartners-Google 探测器爬取。
5， Adsbot-Google：抓取网页中的文字内容，用于为Google AdWords 提供参考。只有Google AdWords 的目标网页才会被 Adsbot-Google 探测器爬取。
页:
[1]