SEO初学者：新建站点时一定要先建robots.txt

源代码网整理以下 大家都知道任何搜索引擎机器人在抓您的网站时，都是先爬网站根目录下的robots.txt（全小写）,如果没有此文件，在一定程序上会影响机器人的正常抓取过程。特别是设置了404错误转向，更会让机器人摸不着头脑。

源代码网整理以下 这里是robots.txt的简单写法：

源代码网整理以下User-agent: *

源代码网整理以下记事本里直接这么写就可以了。代表允许所有搜索引擎来爬。