使用robots.txt优化你WordPress网站
点击数: 1806
文章目录
- 一般人架设wordpress，通常不知道robots.tx的重要性。
- robots的全名是Robots Exclusion Protocol
- google翻译是「机器人排除协议」
- 就是告诉搜寻引擎，你的网站那些页面可以抓，那些页面不用抓。
- 因为搜寻引擎要开始抓爬你的网站时
- 会先看你网站根目录有没有robots.txt
- 如果有这个，搜寻引擎就会根据robots.txt来进行有范围的抓爬。
- 另一点，当搜寻引擎抓不到robots.txt时，就会形成一个404错误页面。
- 变成收录错误页面。
- 所以一个wordpress网站的根目录，增加robots.txt是蛮重要的。
- 当你建立好后，或者有些已经建立好了。
- 你可以在游览器网址那边输入
- http://你的网址/robots.txt
- 检查看看。
- 若没有，你可以自行建立，或者按右键下载
- 上传到你的根目录，再次检查看看。
- 完整的robots.txt里面要有这些内容
- 下面我们解释一下这些分别什么意思、
- 1、Disallow: /wp-admin/、Disallow: /wp-content/和Disallow: /wp-includes/
- 告诉搜寻引擎不需抓后台程式及页面。
- 2、Disallow: /*/comment-page-*和Disallow: /*?replytocom=*
- 停止让搜寻引擎抓留言评论分页等相关连结。
- 3、Disallow: /category/*/page/和Disallow: /tag/*/page/
- 停止搜寻引擎抓取分类页面和标签页。
- 4、Disallow: /*/trackback
- 停止搜寻引擎抓取trackback等垃圾资讯
- 5、Disallow: /feed、Disallow: /*/feed和Disallow: /comments/feed
- 停止搜寻引擎抓取feed连结
- 因为feed只是订阅本站，和搜寻引擎无关。
- 6、Disallow: /?s=*和Disallow: /*/?s=*
- 停止搜寻引擎抓取站内搜索结果
- 7、Disallow: /attachment/
- 停止搜寻引擎抓取附件页面，像是无意义的图片附件页面。
- 这些是基本的写法，可以有很多，可是够用了！
