相信有过青岛网站优化经历的seo从业者对于robots.txt文档并不陌生，那么您真的了解robots吗？您会设置robots吗？下面让-迅优网络来为您分析一下：

1、什么是robots.txt文件
     搜索引擎有自己的搜索习惯，当它对一个网站进行搜索时，哪些目录和文件要看，哪些不用看，它有自己的算法。我们也可以自己建立一个robots.txt文件，告诉搜索引擎的机器人哪些可以被收录，哪些不需要收录。这样可以节约自己网站的资源，提高被搜索引擎收录的效率。

２、robots.txt放置位置
    robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。

３、robots相关语法
    1)User-agent: 适用下列规则的漫游器(搜索引擎)
　　该项的值用于描述搜索引擎robot的名字。在robots.txt文件中，如果有多条User-agent记录，就说明有多个robot会受到robots.txt的限制，对该文件来说，至少要有一条User-agent记录。如果该项的值设为*，则对任何robot均有效。
      ●　Google爬虫名称: Googlebot
      ●　百度（Baidu）爬虫名称：Baiduspider
      ●　雅虎（Yahoo）爬虫名称：Yahoo Slurp
      ●　有道（Yodao）蜘蛛名称：YodaoBot
      ●　搜狗（sogou）蜘蛛名称：sogou spider
      ●　MSN的蜘蛛名称(微软最新搜索引擎Bing蜘蛛名也是这个)：Msnbot
   
    ２）Disallow: 拒绝访问的目录或文件
　　该项的值用于描述不希望被访问的一组URL，这个值可以是一条完整的路径，也可以是路径的非空前缀，以Disallow项的值开头的URL不会被robot访问。
     例如：
         Disallow:/seo.html       表示禁止robot访问文件 /seo.html
    
    ３）Allow:允许访问的目录或文件
     该项的值用于描述希望被访问的一组URL，与Disallow项相似，这个值可以是一条完整的路径，也可以是路径的前缀，以Allow项的值开头的URL是允许robot访问的。
      例如：
           Allow:/hibaidu/         表示允许robot访问目录 /hibaidu/
  
     4)使用通配符"*"和"$"：
     　　 $   匹配行结束符。
　　      *   匹配0或多个任意字符。
          ?   匹配1个任意字符

     5)robots.txt文件里还可以直接包括在sitemap文件的链接。
        Sitemap:http://www.lemigift.com/sitemaps.xml

4、robots.txt文件用法举例
     1)、拦截所有的机器人访问网站
       User-agent: *
       Disallow: /

     2)、允许所有的机器人访问网站
       User-agent: *
       Allow: /
     3)、禁止所有机器人访问特定目录：
       User-agent: *
       Disallow: /public/
       Disallow: /images/
       Disallow: /temp/
       Disallow: /include/

     4)、禁止特定搜索引擎蜘蛛访问特定目录(这里我们以百度蜘蛛为例说明)
       User-agent: Baiduspider
       Disallow: /test/
         上面的robots.txt语法示例的意思是禁止百度蜘蛛爬行根目录下的test目录

     5)、仅禁止Baiduspider抓取.jpg格式图片
       User-agent: Baiduspider
       Disallow: .jpg$

　　 6)、仅允许访问以".htm"为后缀的URL。
       User-agent: *
       Allow: .htm$
       Disallow: /

　　 7)、禁止访问网站中所有的动态页面
       User-agent: *
       Disallow: /*?*

5、常见robots.txt错误
　　 1)、把多个禁止命令放在一行中：
　　   错误地写法
　　   Disallow: /css/ /cgi-bin/ /images/
　　   正确的写法
　　   Disallow: /css/
　　   Disallow: /cgi-bin/
　　   Disallow: /images/ (责任编辑：admin)