SEO初级|网站结构优化—robots.txt文件

1、搜索引擎蜘蛛爬取网站时读取的第一个文件。

2、Robots.txt只能保存在网站根目录下

3、作用：

User-agent：指定搜索引擎蜘蛛制定规则）（*为通配符，及代表所有的搜索引擎）

Disallow：不允许抓取的目录/文件是

Allow：允许抓取的目录/文件

Sitemap：告诉搜索引擎蜘蛛网站地图的链接位置，使蜘蛛快速爬取网站地图，只能写XML版本的地址

搜索引擎蜘蛛工作流程：

爬取→收录→展现