搜索引擎将不在万能 淘宝开始对百度说不

源代码网整理以下　　当很多网站还在期望百度收录网站更多页面获得更好排名的时候，淘宝网近日已经开始屏蔽百度蜘蛛爬虫。

源代码网整理以下　　淘宝网已在网站根目录下的robots.txt文件中设置相关命令，禁止百度蜘蛛获取网页信息。

源代码网整理以下　　百度蜘蛛是百度用来抓取各网站内容的一套自动程序，屏蔽百度蜘蛛主要是不想被百度收录，或者担心抓取给服务器带来压力。

源代码网整理以下　　http://www.taobao.com/robots.txt中语句是：

源代码网整理以下　　User-agent: Baiduspider

源代码网整理以下　　Disallow: /

源代码网整理以下　　User-agent: baiduspider

源代码网整理以下　　Disallow: /

源代码网整理以下　　这些语句的意思就是禁止百度的蜘蛛爬虫索引收录淘宝的任何页面。

源代码网整理以下