Blog Archives
25 六月
25
0
什麼是robots.txt文件?
搜索引擎機器人通過鏈結抵達互聯網上的每個網頁，並抓取網頁信 息。搜索引擎機器人在訪問一個網站時，會首先檢查該網站的根目錄下是否有一個叫做robots.txt的純文字檔案。當我們的網站有一些內容不想被搜索引 擎收錄，我們可以通過設置robots.txt檔告知搜索引擎機器人。
如果網站上沒有禁止搜索引擎收錄的內容，則不用設置robots.txt檔，或設置為空。
從SEO的角度，robots.txt檔是一定要設置的，原因：
1. 網站上經常存在這種情況：不同的鏈結指向相似的網頁內容。這不符合SEO上講的“網頁內容互異性原則”。採用robots.txt檔可以遮罩掉次要的鏈結。
2. 網站改版或URL重寫優化時原來不符合搜索引擎友好的鏈結需要全部遮罩掉。採用robots.txt檔刪除舊的鏈結符合搜索引擎友好。
3. 一些沒有關鍵字的頁面，比如本站的這個頁面http://www.seowhy.com/search.html，遮罩掉更好。
4. 一般情況下，站內的搜索結果頁面遮罩掉更好。
25
0
robots.txt是什麼？
有沒有想過，如果我們某個站點不讓百度和google收錄，那怎麼辦？
搜索引擎已經和我們達成一個約定，如果我們按約定那樣做了，它們就不要收錄。
這個寫約定的的檔命名為:robots.txt。
robots.txt是一個最簡單的.txt檔，用以告訴搜索引擎哪些網頁可以收錄，哪些不允許收錄。
關於robots.txt一般站長需要注意以下幾點：
1. 如果你的站點對所有搜索引擎公開，則不用做這個檔或者robots.txt為空就行。
2. 必須命名為：robots.txt，都是小寫，robot後面加"s"。
3. robots.txt必須放置在一個站點的根目錄下。如：通過http://www.seowhy.com/robots.txt 可以成功訪問到，則說明本站的放置正確。
4. 一般情況下，robots.txt裏只寫著兩個函數：User-agent和 Disallow。
5. 觀察這個頁面並修改為自己的：http://www.seowhy.com/robots.txt
6. 有幾個禁止，就得有幾個Disallow函數，並分行描述。
7. 至少要有一個Disallow函數，如果都允許收錄，則寫: Disallow: ，如果都不允許收錄，則寫:Disallow: / （注：只是差一個斜杆）。
補充說明：
User-agent: * 星號說明允許所有搜索引擎收錄
Disallow: /search.html 說明 http://www.seowhy.com/search.html 這個頁面禁止搜索引擎抓取。
Disallow: /index.
19
0
辦法是：找到死鏈結所在的位置，去除掉。
簡單講，死鏈結指返回不存在頁面或錯誤頁面的鏈結。詳細瞭解，請點擊：什麼是死鏈結？
怎麼知道網站上有死鏈結？
我們強力推薦兩款可以查找死鏈結的工具：
Google網站管理員工具，可以找出Google收錄的網頁上的死鏈結總個數以及鏈結形式。簡潔明瞭。但只能對經過驗證的網站進行檢查。
Xenu-死鏈結檢測工具，一個需要安裝的用戶端軟體，可以對所有網站進行馬上檢查。檢查結果資料報告非常詳細。
檢查網站有死鏈結，怎麼找到這些死鏈結的位置並刪除或改正？
以上介紹的Xenu-死鏈結檢測工具把死鏈結所在的網頁位址也提供了，可以很方便通過這個工具糾錯。但如果你的站點死鏈結很多且有規律，不妨考慮一下採用robots.txt 檔把一些鏈結遮罩（建議高端用戶嘗試）。
