Googlebot 我們一般稱為Google 機器人或Google 探測器。Google “派遣”了不同的Googlebot 對網(wǎng)頁內(nèi)容進行獲取。
Googlebot 有哪幾種？主要包括：
1、Googlebot：抓取網(wǎng)頁中的文字內(nèi)容。獲取的內(nèi)容保存于Google 網(wǎng)頁搜索和新聞搜索的數(shù)據(jù)庫。我們一般談的Google 機器人主要指這個。
2、Googlebot-Mobile：抓取網(wǎng)頁中的文字內(nèi)容，用于Google 手機搜索。
3、Googlebot-Image：抓取網(wǎng)頁內(nèi)的圖片內(nèi)容，保存入Google 圖片搜索數(shù)據(jù)庫。
4、Mediapartners-Google：抓取網(wǎng)頁中的文字內(nèi)容，用于Google Adsense 分析關鍵詞。只有投放了Google Adsense 的網(wǎng)頁才會被 Mediapartners-Google 探測器爬取。
5、Adsbot-Google：抓取網(wǎng)頁中的文字內(nèi)容，用于為Google AdWords 提供參考。只有Google AdWords 的目標網(wǎng)頁才會被 Adsbot-Google 探測器爬取。
Googlebot 和Mediapartners-Google 是非常勤奮的機器人，如果他們影響到你服務器的承受力，你可以通過 robots.txt 文件加以制止。
閱讀本文的人還感興趣
