GOOGLE 工具

Googlebot 我們一般稱為Google 機器人Google 探測器

Google “派遣了不同的Googlebot 對網頁內容進行獲取。主要包括:

  • Googlebot:抓取網頁中的文字內容。獲取的內容保存於Google 網頁搜索和新聞搜索的資料庫。我們一般談的Google 機器人主要指這個。
  • Googlebot-Mobile:抓取網頁中的文字內容,用於Google 手機搜索。
  • Googlebot-Image:抓取網頁內的圖片內容,保存入Google 圖片搜索資料庫。
  • Mediapartners-Google:抓取網頁中的文字內容,用於Google Adsense 分析關鍵字。只有投放了Google Adsense 的網頁才會被 Mediapartners-Google 探測器爬取。
  • Adsbot-Google:抓取網頁中的文字內容,用於為Google AdWords 提供參考。只有Google AdWords 的目標網頁才會被 Adsbot-Google 探測器爬取。

Googlebot Mediapartners-Google 是非常勤奮的機器人,如果他們影響到你伺服器的承受力,你可以通過 robots.txt 文件加以制止。

Post a comment