專用名字

robots.txt是什麼?

有沒有想過,如果我們某個站點不讓百度和google收錄,那怎麼辦?
搜索引擎已經和我們達成一個約定,如果我們按約定那樣做了,它們就不要收錄。
這個寫約定的的檔命名為:robots.txt
robots.txt是一個最簡單的.txt檔,用以告訴搜索引擎哪些網頁可以收錄,哪些不允許收錄。

關於robots.txt一般站長需要注意以下幾點:
1. 如果你的站點對所有搜索引擎公開,則不用做這個檔或者robots.txt為空就行。
2. 必須命名為:robots.txt,都是小寫,robot後面加”s”。
3. robots.txt必須放置在一個站點的根目錄下。如:通過http://www.seowhy.com/robots.txt 可以成功訪問到,則說明本站的放置正確。
4. 一般情況下,robots.txt裏只寫著兩個函數:User-agentDisallow
5. 觀察這個頁面並修改為自己的:http://www.seowhy.com/robots.txt
6. 有幾個禁止,就得有幾個Disallow函數,並分行描述。

7. 至少要有一個Disallow函數,如果都允許收錄,則寫: Disallow: ,如果都不允許收錄,則寫:Disallow: / (注:只是差一個斜杆)。

補充說明:
User-agent: * 星號說明允許所有搜索引擎收錄
Disallow: /search.html 說明 http://www.seowhy.com/search.html 這個頁面禁止搜索引擎抓取。
Disallow: /index.php? 說明類似這樣的頁面http://www.seowhy.com/index.php?search=%E5%A5%BD&action=search&searchcategory=%25 請搜索引擎止步。

Post a comment