robots.txt是搜索引擎访问网站时第一个抓取文件。它是告诉搜索引擎这个网站上面，哪些文件是可以被收录，哪些不允许被收录的，就好像我们贴在门上的告示一样。

如果你不想让搜索引擎访问自己网站（拒绝收录）

User-agent: *

Disallow: /

如果你希望搜索引擎访问自己网站（允许收录）

User-agent: *

Allow: /

或者新建一个空白robots.txt文件

如果你有一个目录想保密，而其他允许被搜索引擎收录（禁止抓取特定目录）

User-agent: *

Disallow: /特定目录名称/

举例说明：如果禁止抓取特定目录是images话

User-agent: *

Disallow: /images/

如果你不想让搜索引擎抓取自己网站图片（禁止图片抓取）

User-agent: *

Disallow: .jpg$

Disallow: .jpeg$

Disallow: .gif$

Disallow: .png$

Disallow: .bmp$

如果你的网站有动态和静态两种网页，你只允许抓取静态页面（禁止动态页面）

User-agent: *

Disallow: /*?*

通过以上几种robots.txt写法，我们对robots.txt有了大概了解，我这里再对robots.txt各个代码解释下。

User-agent: * //规定搜索引擎名称 *为所有搜索引擎

这里为大家扩招下知识

百度蜘蛛名字：baiduspider

谷歌蜘蛛名字：googlebot

搜狗蜘蛛名字：Sogou+web+spider

Disallow:  //禁止搜索引擎抓取目录或网页

禁止抓取目录

Disallow: /images/

禁止抓取网页

Disallow: /test/test.html  //禁止抓取test.html网页

Allow:   //允许搜索引擎抓取目录和网页

一般设成Allow: / 就可以了，但切记不要和Disallow混用，否则有错误。