合肥中拓科技
打造专属互联网推广方案

　　今天为大家介绍怎么写robots.txt文件，为什么要跟大家说这个呢？因为有的网站死链一直没掉，所以必须采取紧急措施，看看下文吧！
　　合肥网络公司建议大家在了解robots.txt写法之前，我们必须要清楚robots.txt的概念、作用和语法。后面小编还将介绍知名的引擎机器人Robots、知名站点robots.txt举例、常见robots.txt错误、Robots META标签和在线生成robots.txt网址。
　　一、robots.txt是什么，它有什么作用？
　　robots.txt是一个纯文本文件。当一个搜索引擎爬虫访问一个网站时，它会先检查站点根目录下是否存在robots.txt，如果存在，搜索爬虫就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索爬虫将能够访问网站上所有没有被口令保护的页面。
　　二、robots.txt的语法
　　robots.txt文件包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL, or NL作为结束符），每一条记录的格式如下所示：
　　<field>:<optionalspace><value><optionalspace>。
　　在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。不懂得可以访问本网站（http://ww.ahwlgs.cn/），该文件中的记录通常以一行或多行User-agent开始，后面加上若干Disallow行,详细情况如下：
　　User-agent:
　　该项的值用于描述搜索引擎robot的名字，在"robots.txt"文件中，如果有多条User-agent记录说明有多个robot会受到该协议的限制，对该文件来说，至少要有一条User-agent记录。如果该项的值设为*，则该协议对任何机器人均有效，在"robots.txt"文件中，"User-agent：*"这样的记录只能有一条。
　　Disallow :
　　该项的值用于描述不希望被访问到的一个URL，这个URL可以是一条完整的路径，也可以是部分的，任何以Disallow开头的URL均不会被robot访问到。
　　例如"Disallow: /help"对/help.html和/help/index.html都不允许搜索引擎访问，而"Disallow: /help/"则允许robot访问/help.html，而不能访问/help/index.html。
　　任何一条Disallow记录为空，说明该网站的所有部分都允许被访问，在"/robots.txt"文件中，至少要有一条Disallow记录。如果robots.txt是一个空文件，则对于所有的搜索引擎robot，该网站都是开放的。
　　下面是一些robots.txt基本的用法：
　　1、禁止所有搜索引擎访问网站的任何部分：
　　User-agent: *
　　Disallow: /
　　2、允许所有的robot访问
　　User-agent: *
　　Disallow:
　　或者也可以建一个空文件robots.txt
　　3、禁止所有搜索引擎访问网站的几个部分（下例中的cgi-bin、tmp、private目录）
　　User-agent: *
　　Disallow: /cgi-bin/
　　Disallow: /tmp/
　　Disallow: /private/
　　4、禁止某个搜索引擎的访问（下例中的BadBot）
　　User-agent: BadBot
　　Disallow: /
　　5、只允许某个搜索引擎的访问（下例中的WebCrawler）
　　User-agent: WebCrawler
　　Disallow:
　　User-agent: *
　　Disallow: /
　　PS：
　　合肥网络公司建议加上robots.txt
　　原因是有些虚拟主机服务商自定义了404页面. 在文件类型不确定的时候, 有可能导致spider认为404页面是robots。
　　解决办法是，可以在目录下放一个空文件，名字叫robots.txt就可以了。
　　以上就是合肥网络公司为您分享的内容，更多网站优化内容请咨询本网站：http://ww.ahwlgs.cn/。