使用robots.txt優化你WordPress網站
點擊數: 1814
文章目錄
- 一般人架設wordpress，通常不知道robots.tx的重要性。
- robots的全名是Robots Exclusion Protocol
- google翻譯是「機器人排除協議」
- 就是告訴搜尋引擎，你的網站那些頁面可以抓，那些頁面不用抓。
- 因為搜尋引擎要開始抓爬你的網站時
- 會先看你網站根目錄有沒有robots.txt
- 如果有這個，搜尋引擎就會根據robots.txt來進行有範圍的抓爬。
- 另一點，當搜尋引擎抓不到robots.txt時，就會形成一個404錯誤頁面。
- 變成收錄錯誤頁面。
- 所以一個wordpress網站的根目錄，增加robots.txt是蠻重要的。
- 當你建立好後，或者有些已經建立好了。
- 你可以在遊覽器網址那邊輸入
- http://你的網址/robots.txt
- 檢查看看。
- 若沒有，你可以自行建立，或者按右鍵下載
- 上傳到你的根目錄，再次檢查看看。
- 完整的robots.txt裡面要有這些內容
- 下面我們解釋一下這些分別什麼意思、
- 1、Disallow: /wp-admin/、Disallow: /wp-content/和Disallow: /wp-includes/
- 告訴搜尋引擎不需抓後台程式及頁面。
- 2、Disallow: /*/comment-page-*和Disallow: /*?replytocom=*
- 停止讓搜尋引擎抓留言評論分頁等相關連結。
- 3、Disallow: /category/*/page/和Disallow: /tag/*/page/
- 停止搜尋引擎抓取分類頁面和標籤頁。
- 4、Disallow: /*/trackback
- 停止搜尋引擎抓取trackback等垃圾資訊
- 5、Disallow: /feed、Disallow: /*/feed和Disallow: /comments/feed
- 停止搜尋引擎抓取feed連結
- 因為feed只是訂閱本站，和搜尋引擎無關。
- 6、Disallow: /?s=*和Disallow: /*/?s=*
- 停止搜尋引擎抓取站內搜索結果
- 7、Disallow: /attachment/
- 停止搜尋引擎抓取附件頁面，像是無意義的圖片附件頁面。
- 這些是基本的寫法，可以有很多，可是夠用了！
