嚣张的个人站长：对搜索引擎说不

源代码网整理以下　　对于搜索引擎，极少数先行者对搜索引擎蜘蛛说不，这其中最为大家熟悉的就是“淘宝屏蔽百度蜘蛛”，还有一些交友网站屏蔽搜索引擎蜘蛛，而个人站长，要对搜索引擎说不是艰难的，更多的站长则将之奉为上宾，而我，一个个人站长，IP不到1000IP，为何也如此嚣张，竟然对搜索引擎说不，众位看官，听我慢慢道来。

源代码网整理以下　　今天是一个值得高兴的日子，起床第一件事，打开电脑，上51yes.com查看网站流量，一看，不得了。

源代码网整理以下　　心里这个爽啊，流量暴涨啊，且慢高兴，流量上涨，我是一定要弄明白流量来自哪里的，不看不知道，一看吓一跳。

源代码网整理以下　　当时心下就凉了一截，这可全是垃圾流量啊，对于使用共享空间的我来说，这可不是什么好事，唯一的办法：封!垃圾流量，我要对你说不!

源代码网整理以下　　于是立刻改写robot.txt禁止MSN蜘蛛访问

源代码网整理以下　　在这里，特别想提醒广大认真做站，口袋里又没有多少银子的站长，一定要认真审视垃圾流量，那些不会给你带来任何的收益，只会给你增加额外的负担，外再阅读数据访问报表时的虚荣心!

源代码网整理以下　　附常见搜索引擎蜘蛛名称：

源代码网整理以下　　Google的蜘蛛： Googlebot

源代码网整理以下　　百度的蜘蛛：baiduspider

源代码网整理以下　　Yahoo的蜘蛛：Yahoo Slurp

源代码网整理以下　　MSN的蜘蛛：Msnbot

源代码网整理以下　　Altavista的蜘蛛：Scooter

源代码网整理以下　　Lycos的蜘蛛： Lycos_Spider_(T-Rex)

源代码网整理以下　　Alltheweb的蜘蛛： FAST-WebCrawler/

源代码网整理以下　　INKTOMI的蜘蛛： Slurp