淘宝封百度 原来竟是这样的简单

源代码网整理以下　　最近火热的事件，淘宝封百度，我在各大新闻里看到的是说淘宝用技术手段封了百度，心里就好奇，难道还有什么特殊的技术吗?robots不是就可以封吗?后来闲着没事，查了查淘宝的robots文件，原来是这样的：

源代码网整理以下　　http://www.taobao.com/robots.txt

源代码网整理以下　　User-agent: Baiduspider

源代码网整理以下　　Disallow: /

源代码网整理以下　　User-agent: baiduspider

源代码网整理以下　　Disallow: /

源代码网整理以下　　真是狠心了，还区分大小写，呵呵~~顺便还听说其他多个SNS网站也封了百度，我也查了一下，都列在这里，有兴趣的自己查查，呵呵还蛮有意思的。

源代码网整理以下　　搜狐blog: http://blog.sohu.com/robots.txt

源代码网整理以下　　User-agent: Googlebot

源代码网整理以下　　Disallow:

源代码网整理以下　　User-agent: baiduspider

源代码网整理以下　　Disallow: /

源代码网整理以下　　User-agent: Nutch

源代码网整理以下　　Disallow:

源代码网整理以下　　User-agent: *

源代码网整理以下　　Disallow: /

源代码网整理以下　　可是传说中的51.com,校内却找不到：

源代码网整理以下　　http://www.51.com/robots.txt

源代码网整理以下　　http://www.xiaonei.com/robots.txt

源代码网整理以下　　国外那个facebook的:

源代码网整理以下　　http://www.facebook.com/robots.txt

源代码网整理以下　　User-agent: *

源代码网整理以下　　Disallow: /album.php

源代码网整理以下　　Disallow: /photo.php

源代码网整理以下　　Disallow: /photos.php

源代码网整理以下　　Disallow: /photo_comments.php

源代码网整理以下　　Disallow: /photo_search.php

源代码网整理以下　　Disallow: /p.php

源代码网整理以下　　Disallow: /feeds/

源代码网整理以下　　# E-mail webmaster@facebook.com and alex@facebook.com if you"re authorized to access these, but getting denied.

源代码网整理以下　　Sitemap: http://www.facebook.com/sitemap.php

源代码网整理以下　　还有新浪blog的：http://blog.sina.com.cn/robots.txt太多了就不复制了。