Html:如何写robots.txt 文件？

2009-12-16 23:33| 发布者: admin| 查看: 41| 评论: 0|原作者: 云天河

robots.txt文件是放在网站的根目录下，作用是告诉搜索引擎网站的哪些文件，哪些目录可以被索引，哪些不要索引。因此，这个文件是相当的重要，正确书写好robots.txt文件，可以保证你的网页被搜索引擎正确地索引、收录。
情缘.教程_网 [http://Www.XiuGoo.Com]
书写robots.txt文件时，要使用纯文本的编辑器，使文件是纯文本的格式。robots.txt文件的结构还是比较简单的。它是由一行一行的纪录组成，每行由两个部份组成：
:
有两种，一个是User-agent，一个是Disallow
User-agent代表搜索引擎的名字，比如：
User-agent:googlebot
User-agent:Baiduspider
也可以用通配符*来代表任何的搜索引擎，即User-agent:*
Disallow代表要限制的文件或目录，比如：
Disallow:error.html
Disallow:/cgi-bin/
Disallow支持通配符，Disallow:/eagle 代表/eagle.html或/eagle/index.html都将被屏蔽。
一些例子如下：
允许所有的搜索引擎索引所有的文件
User-agent: *
Disallow:
不允许任何的搜索引擎索引任何文件
User-agent: *
Disallow: /
允许任何的搜索引擎，但禁止索引/cgi-bin/和/images/目录
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
禁止Google索引所有的文件
User-agent: googlebot
Disallow: /
可以直接察看网站的robots.txt文件，看看别人是如何写的。
百度的robots.txt
User-agent: Baiduspider
Disallow: /baidu
User-agent: *
Disallow: /shifen/dqzd.html
Google的robots.txt可就长的多了。

收藏分享邀请

		自动登录	找回密码
密码			注册

Html:如何写robots.txt 文件？

最新评论

相关分类