最近一直挺郁闷的，发现一个很严重的问题，往往本博原创一篇文章，那么百度一下，就会发现有两篇，也就是说重复收录了，没办法，伪静态，动态的地址都收录，先不管百度对这个友不友好，会不会K站之类的，至少看着也补舒服！怎么去解决这个问题呢？

       在搜索引擎上找了很多资料，终于找到了一个比较安全可靠的方案，把这个问题给解决了！那就是利用robots.txt把搜素引擎写死，不准蜘蛛抓取动态的页面，这样问题就解决了！但是很多朋友robots.txt不会写怎么办？在此我为大家提供我自己写robots.txt，给大家参考下！

1
2
3
4
5
6
7
8
9
10

User-agent:*
Disallow:/wp-
Allow:/wp-content/uploads/
Disallow:/?
Disallow:/feed
Disallow: /trackback
Disallow: /*.css$
Disallow: /date/
Sitemap: http://www.jenzone.cn/sitemap.xml
Sitemap: http://www.jenzone.cn/sitemap.html

现在我来简单解释下这些写法的含义：

User-agent： * 含义是对所有的搜索引擎都采用以下的规则；

Disallow： /wp- 不允许搜索引擎抓取和索引wp-开头的文件及目录，如wp-login.php，wp-admin目录等均被阻止抓取；

Allow： /wp-content/uploads/ 因为在上一条将wp-content目录屏蔽了，这样Google图片搜索和百度就无法访问放在/wp-content/uploads/目录下的图片， 为了能使Google图片搜索收录图片等附件，将这个目录设置为Allow；

Disallow： /? 禁止搜索引擎spider索引以?开头的网址，如单独文章页面的动态网址http://www.***.com/?p=1。这一条比较厉害，包括了WordPress博客的大部分动态网址，

Disallow： /feed 禁止Google，百度搜索引擎索引feed博客页面。博客都有一个订阅整站的feed，每个文章分类，每篇文章也分别有一个feed，feed页面和网站页面内容基本相同，如果feed页面没有被禁止访问，可想而知，这将会产生大量的重复页面。

Disallow： /trackback作用与/feed一样，不详说！

Disallow： /*.css$ 禁止搜索引擎访问css文件。

Disallow： /date/ 禁止搜索引擎访问日期存档页面！

大家可以参照我的http://www.jenzone.cn/robots.txt，打开既能看到！

当然最后的是写的网站地图，更好的让蜘蛛抓取！希望本文对您有帮主！