robots.txt檔有什麼必要?

專用名字

什麼是robots.txt文件?

搜索引擎機器人通過鏈結抵達互聯網上的每個網頁,並抓取網頁信 息。搜索引擎機器人在訪問一個網站時,會首先檢查該網站的根目錄下是否有一個叫做robots.txt的純文字檔案。當我們的網站有一些內容不想被搜索引 擎收錄,我們可以通過設置robots.txt檔告知搜索引擎機器人。
如果網站上沒有禁止搜索引擎收錄的內容,則不用設置robots.txt檔,或設置為空。
從SEO的角度,robots.txt檔是一定要設置的,原因:
1. 網站上經常存在這種情況:不同的鏈結指向相似的網頁內容。這不符合SEO上講的“網頁內容互異性原則”。採用robots.txt檔可以遮罩掉次要的鏈結。
2. 網站改版或URL重寫優化時原來不符合搜索引擎友好的鏈結需要全部遮罩掉。採用robots.txt檔刪除舊的鏈結符合搜索引擎友好。
3. 一些沒有關鍵字的頁面,比如本站的這個頁面http://www.seowhy.com/search.html,遮罩掉更好。
4. 一般情況下,站內的搜索結果頁面遮罩掉更好。

Post a comment