飞龙wordpress博客的robotstxt写法
feilong.org 修订于2008-06-24 10:00:13 538 次浏览借鉴网上相关资料，同时实验搜索引擎的收录结果，飞龙博客的robotstxt写法如下。写好后直接放到eilong.org/根目录下，据说可让搜索引擎高质量的收录wordpress博客文章？不会出现什么省略页？这是wordpress seo的基本环节之一？
先查看收录情况site:feilong.org，飞龙发现google不仅仅收录了我的文章，还把登陆后台、动态文章网址都收录了，不过是作为补充材料收录的。这样不好吧？浏览者只对自己需要的文章感兴趣呀！
如果搜到这些非关键网页或补充材料，没啥意义啊！飞龙感觉过多的这种补充材料，肯定会让搜索引擎认为你的网站质量不高。到网站上找了相关资料，说搜google、baidu、yahoo、sogou等索引擎都把这类样网站视为作弊或垃圾网站。哦，那我得处理一下了.
怎么弄呢？飞龙决定把wordpress博客根目录下robots.txt修改好，记录在 http://feilong.org/wordpress-robots-txt ），修订日期2010年1月17日。
# BEGIN XML-SITEMAP-PLUGIN
Sitemap: http://feilong.org/sitemap.xml.gz
# END XML-SITEMAP-PLUGIN
User-agent: *
Crawl-delay: 100
Disallow: *.swf
Disallow: *.css
Disallow: /files/
Disallow: /cgi-bin/
Disallow: /wp-
Disallow: /?p=
Disallow: /date/200*/*/*/
Disallow: /page/
Disallow: /2007/
Disallow: /2008/
Disallow: /2009/
Disallow: /2010/
Disallow: /?m=
Disallow: /?s=
Disallow: /feed/
Disallow: /comments/feed/
Disallow: /comments/
Disallow: /feed/
Disallow: /index.php/feed
Disallow: /?feed=
Disallow: /trackback/
Disallow: /index.php/trackback
Disallow: /*.php$
Disallow: /*.css$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Allow: /wp-content/uploads/
更新网址：https://feilong.org/wordpress-robots-txt
最初发布：20080624 10:00:13 feilong.org 于广州
加入收藏夹，查看更方便。
所在分类： wordpress