robots.txt一分钟教程robots.txt很简单

首先要说：

学习robots主要搞明白下面3个问题：

1. robots是什么？

2. robots有什么作用？

3. 如何写robots.txt？

kyw的回答： robots就是一个必须放在网站根目录、让搜索蜘蛛读取的txt文件，文件名必须是小写的"robots.txt"。

kyw的回答：通过robots.txt可以控制SE收录内容，告诉蜘蛛哪些文件和目录可以收录，哪些不可以收录。

用几个最常见的情况，直接举例说明：

1. 允许所有SE收录本站：robots.txt为空就可以，什么都不要写。

2. 禁止所有SE收录网站的某些目录：

<code>User-agent: * Disallow: /目录名1/ Disallow: /目录名2/ Disallow: /目录名3/</code>

3. 禁止某个SE收录本站，例如禁止百度：

<code>User-agent: Baiduspider Disallow: /</code>

4. 禁止所有SE收录本站：

<code>User-agent: * Disallow: /</code>

5. 加入sitemap.xml路径,例如：

<code>Sitemap: http://www.seotest.cn/sitemap.xml</code>

参考资料：常见搜索引擎机器人Robots名字

名称 搜索引擎

Baiduspider http://www.baidu.com 

Googlebot http://www.google.com 

MSNBOT http://search.msn.com 

ia_archiver http://www.alexa.com 

一个在线写robots.txt的工具。

<a href="http://www.clickability.co.uk/robotstxt.html" target="_blank">http://www.clickability.co.uk/robotstxt.html</a>

本文转自黄聪博客园博客，原文链接：http://www.cnblogs.com/huangcong/archive/2010/03/28/1698990.html，如需转载请自行联系原作者