SEO网站优化robots的使用常见误区.txt

网站制作公司推来客（www.tlkjt.com）：误区一、Allow覆盖的比Disallow多，位置在Disallow的前面。

比如很多人写：

用户代理：*

允许： /

Disallow: /mulu/

我想让所有的蜘蛛爬取本站除了/mulu/下的url之外的所有页面，禁止爬取/mulu/下的所有url。

SEO网站优化搜索引擎蜘蛛从上到下执行规则，这会导致第二句失败。也就是说，禁止爬取/mulu/目录的规则是无效的。正确的是Disallow应该在Allow之上，这样才会生效。

误区二、Disallow命令和Allow命令后没有斜杠“/”。

这也很容易被忽视。比如有人这样写Disallow: 123.html，没有效果。斜杠“/”表示文件所在的位置到根目录。如果不包含，自然无法确定是哪个url，所以是错误的。

正确的应该是Disallow: /123.html，这样就可以屏蔽/123.html这个文件，这条规则才能生效。

误区三、屏蔽目录后没有斜杠“/”。

也就是比如你要屏蔽/mulu/目录的爬取，有人这样写Disallow: /mulu。那么这是正确的吗？

首先，这样写（Disallow: /mulu）确实可以屏蔽所有/mulu/下的url，但是也屏蔽了所有像/mulu123.html这样以/mulu开头的页面，效果等同于Disallow: /mulu*。

正确的做法是，如果只想屏蔽目录，必须在末尾加上斜杠“/”。

本文发表于北京网站制作公司推来客http://www.tlkjt.com/