一般人架設wordpress，通常不知道robots.tx的重要性。

robots的全名是Robots Exclusion Protocol

google翻譯是「機器人排除協議」

就是告訴搜尋引擎，你的網站那些頁面可以抓，那些頁面不用抓。

因為搜尋引擎要開始抓爬你的網站時

會先看你網站根目錄有沒有robots.txt

如果有這個，搜尋引擎就會根據robots.txt來進行有範圍的抓爬。

另一點，當搜尋引擎抓不到robots.txt時，就會形成一個404錯誤頁面。

變成收錄錯誤頁面。

所以一個wordpress網站的根目錄，增加robots.txt是蠻重要的。

當你建立好後，或者有些已經建立好了。

你可以在遊覽器網址那邊輸入

http://你的網址/robots.txt

檢查看看。

若沒有，你可以自行建立，或者按右鍵下載

上傳到你的根目錄，再次檢查看看。

完整的robots.txt裡面要有這些內容

[cc lang="php"] User-agent: * Disallow: /wp-admin/ Disallow: /wp-content/ Disallow: /wp-includes/ Disallow: /*/comment-page-* Disallow: /*?replytocom=* Disallow: /category/*/page/ Disallow: /tag/*/page/ Disallow: /*/trackback Disallow: /feed Disallow: /*/feed Disallow: /comments/feed Disallow: /?s=* Disallow: /*/?s=* Disallow: /attachment/ [/cc]

下面我們解釋一下這些分別什麼意思、

1、Disallow: /wp-admin/、Disallow: /wp-content/和Disallow: /wp-includes/

告訴搜尋引擎不需抓後台程式及頁面。

2、Disallow: /*/comment-page-*和Disallow: /*?replytocom=*

停止讓搜尋引擎抓留言評論分頁等相關連結。

3、Disallow: /category/*/page/和Disallow: /tag/*/page/

停止搜尋引擎抓取分類頁面和標籤頁。

4、Disallow: /*/trackback

停止搜尋引擎抓取trackback等垃圾資訊

5、Disallow: /feed、Disallow: /*/feed和Disallow: /comments/feed

停止搜尋引擎抓取feed連結

因為feed只是訂閱本站，和搜尋引擎無關。

6、Disallow: /?s=*和Disallow: /*/?s=*

停止搜尋引擎抓取站內搜索結果

7、Disallow: /attachment/

停止搜尋引擎抓取附件頁面，像是無意義的圖片附件頁面。

這些是基本的寫法，可以有很多，可是夠用了！