什么叫robots?
robots.txt是搜索引擎中访问网址的情况下要查询的第一个文档 。当检索来爬取网址情况下 ，SEO实例教程趣快排会要看网址里有木有robots这一文档 ，假如有这一文档，会依照robots文档给的爬取标准开展网址的抓取 。
网址以便seoseo优化毫无疑问会有一部分网页页面不愿被检索抓取和网站收录 ，如“在线留言 ”“广告词协作 ”这时候就会采用robots ，来屏蔽掉检索的抓取和网站收录。
robots的基础写法
1、容许全部搜索引擎访问
User-agent: *
Disallow:
或是
User-agent: *
Allow: /
留意，能够最立即的建一个空文档 “robots.txt”随后放进网址的网站根目录 。
2 、严禁全部搜索引擎访问
User-agent: *
Disallow: /
或是
User-agent: *
allow:
3 、严禁全部搜索引擎访问网址中的好多个一部分，这里我用a、b 、c文件目录来替代
User-agent: *
Disallow: /a/
Disallow: /b/
Disallow: /c/
假如是容许 ，则是
Allow: /a/
Allow: /b/
Allow: /c/
4 、严禁某一搜索引擎的访问 ，我用w来替代
User-agent: w
Disallow: /
或
User-agent: w
Disallow: /d/*.htm
在Disallow:后边加 /d/*.htm的含意是严禁访问/d/文件目录下的全部以 ”.htm ”为尾缀的URL，包括根目录 。
5、只容许某一搜索引擎的访问 ，我用e来替代
User-agent: e
Disallow:
在Disallow：后边不用一切物品 ，含意是仅容许e访问该网址。
6、应用”$”限定访问url
User-agent: *
Allow: .htm$
Disallow: /
含意是仅容许访问以 ”.htm ”为尾缀的URL
7 、严禁访问网址中全部的动态性网页页面
User-agent: *
Disallow: /*?*
8 、严禁搜索引擎F抓取网址上全部图片
User-agent: F
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$
含意是只容许模块抓取网页页面，严禁抓取一切图片(严格意义上来说 ，是严禁抓取jpg、jpeg 、gif 、png、bmp格式的图片。)
9 、只容许搜索引擎E抓取网页页面和.gif格式图片
User-agent: E
Allow: .gif$
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .png$
Disallow: .bmp$
含意是只容许抓取网页页面和gif格式图片 ，不容许抓取别的格式图片
对于seo的robots高級写法
顶尖seo大神robots.txt的写法
robots应用时的留意点
robots.txt务必置放在一个网站的网站根目录下，并且文件夹名称务必所有小写字母 。
对于初学者应用robots
百度站长工具刚更新了robots
那样只需把握robots的基本写法 ，就能写成高級robots。
