比较全的robots.txt介绍
|
源代码网整理以下 前段时间笔者手上一个网站因为robots.txt文件失误被写错了几个字符，导致网站迟迟不被收录。当时感觉很不对劲，检查来检查去也没有检查出什么问题，后来登录Google网站管理员中心诊断网站才看到robots文件组织任何搜索引擎蜘蛛访问才发现问题，改过之后，收录正常。 源代码网整理以下 robots.txt文件的写法你知道多少呢?对比一下下面的例子： 源代码网整理以下 1、禁止所有搜索引擎访问网站的任何部分，也就是是禁止任何搜索引擎收录你的网站。 源代码网整理以下 User-agent: * 源代码网整理以下 Disallow: / 源代码网整理以下 2、允许所有的搜索引擎访问你的网站的任何部分，这是通常的用法。 源代码网整理以下 User-agent: * 源代码网整理以下 Disallow: 源代码网整理以下 或者 源代码网整理以下 User-agent: * 源代码网整理以下 Allow: / 源代码网整理以下 3、仅禁止某一搜索引擎访问你的网站。百度是baiduspider Google是googlebot 源代码网整理以下 User-agent: baiduspider 源代码网整理以下 Disallow: / 源代码网整理以下 或者 源代码网整理以下 User-agent: googlebot 源代码网整理以下 Disallow: / 源代码网整理以下 4、仅仅允许某一搜索引擎访问你的网站。同样百度是baiduspider Google是googlebot 源代码网整理以下 User-agent: baiduspider 源代码网整理以下 Disallow: 源代码网整理以下 或者 源代码网整理以下 User-agent: googlebot 源代码网整理以下 Disallow: 源代码网整理以下 5、如果你网站的某个目录不希望被搜索引擎收录，写法如下： 源代码网整理以下 User-agent: * 源代码网整理以下 Disallow: /目录名称1/ 源代码网整理以下 Disallow: /目录名称2/ 源代码网整理以下 Disallow: /目录名称3/ 源代码网整理以下 注意：不能写成Disallow: /目录名称1/ /目录名称2/ 这样的形式，每个目录要单独另起一行特别说明。 源代码网整理以下 6、禁止搜索引擎访问网站中所有的动态页面(动态页面就是URL中任何带有“?”的页面) 源代码网整理以下 User-agent: * 源代码网整理以下 Disallow: /*?* 源代码网整理以下 7、仅仅允许搜索引擎访问某一特定文件后缀形式的网页。 源代码网整理以下 User-agent: * 源代码网整理以下 Allow: .后缀形式(如.html、.htm、.php等等)$ 源代码网整理以下 Disallow: / 源代码网整理以下 8、限制搜索引擎访问某一特定文件后缀形式的网页。 源代码网整理以下 User-agent: * 源代码网整理以下 Disallow: /*.后缀形式(如.html、.htm、.php等等) 源代码网整理以下 9、允许搜索引擎访问特定目录中的网页 源代码网整理以下 User-agent: * 源代码网整理以下 Allow: /目录1/目录2(允许访问目录2中的网页) 源代码网整理以下 Allow: /目录3/目录4(允许访问目录4中的网页) 源代码网整理以下 Allow: /目录5/目录6(允许访问目录6中的网页) 源代码网整理以下 Disallow: /目录1/ 源代码网整理以下 Disallow: /目录3/ 源代码网整理以下 Disallow: /目录5/ 源代码网整理以下 10、阻止搜索引擎访问网站中特定某一文件格式的文件(注意不是网页) 源代码网整理以下 User-agent: * 源代码网整理以下 Disallow: /*.(文件格式：如gif、jpg等等)$ 源代码网整理以下 以上是一些常用的格式。具体的写法还要以各个网站需求而定。写robots.txt还要注意以下一些问题： 源代码网整理以下 1、robots.txt文件是以纯文本格式保存的txt文件。 源代码网整理以下 2、robots.txt必须防止在网站的根目录中。最上层的robots.txt文件必须这样被访问：如http://www.wanseo.com/robots.txt 源代码网整理以下 3、书写robots.txt时要严格按照以上大小写形式书写 源代码网整理以下 4、通常你的网站如果比较简单，那么以上的格式足够你使用的了。如果比较复杂，需要访问这里而又不需要访问那里，禁止这个文件又要允许那个文件，允许访问访问带有“?”符号的特定网页等等，那么你需要结合以上格式仔细研究合适于你网站的robots.txt文件写法。 源代码网整理以下 5、robots.txt通常在某个分目录中还可以存在，但是如果与顶级目录中的robots.txt有冲突，则以顶级目录中robots.txt命令为准。 源代码网整理以下 6、仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件或者创建一个内容为空的robots.txt文件。这一点通常被人们忽略，实际上建立空的robots.txt文件对搜索引擎非常不友好。 源代码网整理以下 7、如果你不想自己动手写robots.txt文件，那么请Google帮你写。登录Google网站管理平台，有生成robots.txt文件的功能。 源代码网整理以下 8、User-agent: * 源代码网整理以下 Disallow: / 源代码网整理以下 这种格式不仅仅是禁止抓取页面，更重要的是如果你的网站被收录了，然后又把robots.txt文件修改成以上格式，那么你的网站将在搜索引擎中被删除，整个地删除。 源代码网整理以下 9、元标记对于一般的网站来说可有可无，不过你还是得了解： 源代码网整理以下 ＜META NAME="ROBOTS" CONTENT="INDEX,FOLLOW"＞（允许抓取该页面，允许跟着该页面上的链接继续抓取） 源代码网整理以下 10、需要删除一些被搜索引擎收录的特定网页，参考http://www.google.com/support/webmasters/bin/answer.py?answer=35301 源代码网整理以下 貌似目前只有Google这么做。 源代码网整理以下 本文来自安徽SEO(www.wanseo.com)。原文http://www.wanseo.com/node/47 转载请保留出处及原文地址。 源代码网供稿. |
