当前位置:首页 > 网站运营 > seo搜索优化 > > 全民一起屏蔽百度的爬虫

全民一起屏蔽百度的爬虫

点击次数:43 次 发布日期:2008-11-12 16:13:53 作者:源代码网
源代码网推荐

源代码网整理以下  奥运之后,淘宝网屏蔽搜索引擎事件应该算是互联网界最为热门的话题了,淘宝对不同搜索引擎进行不同程度的屏蔽,宣称这一举措意在保护消费者利益。其实根据罗伊网的调查发现在这消息之前淘宝网已将百度搜索屏蔽,不过却没有屏蔽谷歌对淘宝网的抓取。这意味着什么呢?借着近期百度C2C即将上线的新闻炒作,大家几乎都把答案设定在“双方在电子商务领域走向正面冲突的地步”,真的是这样吗?为了C2C之战,所以淘宝屏蔽百度?

源代码网整理以下  屏蔽百度的方式,是通过在网站根目录生成一个 robots.txt 的文件,内容为:

源代码网整理以下  User-agent: Baiduspider

源代码网整理以下  Disallow: /

源代码网整理以下  User-agent: baiduspider

源代码网整理以下  Disallow: /

源代码网整理以下  这几名话的意思就是,当爬虫是 Baiduspider时,禁止访问当前网站的所有内容.就是只屏蔽百度的爬虫,对其它搜索引擎,如:Google, Yahoo,有道等并不影响.自从百度长大了以后,站长门一直都受到百度的歁压,随意K掉我们的网站,我的网站:http://www.179job.com 原来每天有一万多的IP,但自从被百度K掉以后,访问量直线下降,搞得现在都没心思搞下去了.

源代码网整理以下  事到如今,有了淘宝屏蔽百度,各位站长应该在淘老大的号召下,一起屏蔽百度的爬虫,别让百度太囂张了.

源代码网整理以下  屏蔽方式很简单,打开 http://www.taobao.com/robots.txt 保存到你的电脑里为:robots.txt,再上传到你的网站根目录,就可以把百度扫门而出.让百度以后搜不出东西,自不然国内的用户就会转到其它的搜索引擎,至少别的引擎不会乱K我们的站吧.对不对?

源代码网整理以下  我现在把我的屏蔽网站给你们看,我不是说说而已的: http://www.179job.com/robots.txt

源代码网整理以下  大家看着办吧,你想被人K,还是你K别人!随你喜欢了.

源代码网整理以下  站长网新闻榜 www.admin5.com/top

源代码网供稿.
网友评论 (0)
会员中心
网站运营
本站推荐
网站运营之精华