飞龙博客

feilong.org 前端开发教程

飞龙wordpress博客的robotstxt写法

飞龙修订于 20080624 10:00 14 次浏览

借鉴网上相关资料,同时实验搜索引擎的收录结果,飞龙博客的robotstxt写法如下。写好后直接放到eilong.org/根目录下,据说可让搜索引擎高质量的收录wordpress博客文章?不会出现什么省略页?这是wordpress seo的基本环节之一?

先查看收录情况site:feilong.org,飞龙发现google不仅仅收录了我的文章,还把登陆后台、动态文章网址都收录了,不过是作为补充材料收录的。这样不好吧?浏览者只对自己需要的文章感兴趣呀!

如果搜到这些非关键网页或补充材料,没啥意义啊!飞龙感觉过多的这种补充材料,肯定会让搜索引擎认为你的网站质量不高。到网站上找了相关资料,说搜google、baidu、yahoo、sogou等索引擎都把这类样网站视为作弊或垃圾网站。哦,那我得处理一下了.

怎么弄呢?飞龙决定把wordpress博客根目录下robots.txt修改好,记录在 http://feilong.org/wordpress-robots-txt ),修订日期2010年1月17日。

# BEGIN XML-SITEMAP-PLUGIN
Sitemap: http://feilong.org/sitemap.xml.gz
# END XML-SITEMAP-PLUGIN

User-agent: *
Crawl-delay: 100
Disallow: *.swf
Disallow: *.css
Disallow: /files/

Disallow: /cgi-bin/
Disallow: /wp-

Disallow: /?p=
Disallow: /date/200*/*/*/
Disallow: /page/
Disallow: /2007/
Disallow: /2008/
Disallow: /2009/
Disallow: /2010/

Disallow: /?m=
Disallow: /?s=

Disallow: /feed/
Disallow: /comments/feed/
Disallow: /comments/
Disallow: /feed/
Disallow: /index.php/feed
Disallow: /?feed=

Disallow: /trackback/
Disallow: /index.php/trackback

Disallow: /*.php$
Disallow: /*.css$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$

Allow: /wp-content/uploads/

网址:https://feilong.org/wordpress-robots-txt
初发:20080624 10:00

想学前端?长按二维码加我微信

想学前端?点击飞龙QQ

分类: wordpress

新作:

旧文:

关闭

长按二维码 -> 识别图中二维码

打开微信,发现,扫一扫

支付完成后,点击下一步

感谢大力支持

然后你手机号:

最后点这,稍等即可