Blog Archives

Robot英文直譯是機器人，在搜索引擎優化SEO中，我們經常翻譯為:探測器。 有時，你會碰到crawlew（爬行器），spider（蜘蛛），都是探測器之一，只是叫法不同。 SEO中常說的這個探測器(Robot)是什麼？ 搜索引擎用來抓取網頁的工具。它是一個軟體或者說一系列自動程式(顯然，不是一部機器)。 不同的搜索引擎給他們自己的探測器(Robot)起不同的名字。 Google :googlebot 百度 :baiduspider MSN :MSNbot Yahoo :Slurp (yahoo家的這位比較特殊，沒有帶“姓”，並且用的是一個擬聲詞。Slurp，中文理解是機器人吃東西時發出的嘖嘖的聲音) 關於Robot，需要關心的主要是Robots.txt，以及網站日誌中包含的以上幾個名字。

Googlebot 我們一般稱為Google 機器人或Google 探測器。 Google “派遣”了不同的Googlebot 對網頁內容進行獲取。主要包括： Googlebot：抓取網頁中的文字內容。獲取的內容保存於Google 網頁搜索和新聞搜索的資料庫。我們一般談的Google 機器人主要指這個。 Googlebot-Mobile：抓取網頁中的文字內容，用於Google 手機搜索。 Googlebot-Image：抓取網頁內的圖片內容，保存入Google 圖片搜索資料庫。 Mediapartners-Google：抓取網頁中的文字內容，用於Google Adsense 分析關鍵字。只有投放了Google Adsense 的網頁才會被 Mediapartners-Google 探測器爬取。 Adsbot-Google：抓取網頁中的文字內容，用於為Google AdWords 提供參考。只有Google AdWords 的目標網頁才會被 Adsbot-Google 探測器爬取。 Googlebot 和Mediapartners-Google 是非常勤奮的機器人，如果他們影響到你伺服器的承受力，你可以通過 robots.txt 文件加以制止。