Robots.txt介绍及用法

2009-12-13 04:17| 发布者: admin| 查看: 40| 评论: 0|原作者: 琴姬

　　robots.txt是一个很简单的txt文件，可以告诉搜索引擎哪些页面可以收录，哪些不允许收录。
　　1.如何看自己网站的robots.txt：一你可以用ftp打看自己网站的根目录，里面就有这个文件，传送到本地就可以看，二你可以在自己网站的域名后加上/robots.txt就可以看了，如果打不开，说明这个文件没有正确放置。如：www.joy0574.com/robots.txt就可以看到。
　　2.要点：一般情况下，robots.txt里只写着两个函数：User-agent和 Disallow。User-agent: *后面加星号说明允许所有搜索引擎收录;有几个禁止，就得有几个Disallow函数，每行一个进行描述;至少要有一个Disallow函数，如果都允许收录，则写: Disallow: 如果都不允许收录，则写:Disallow: /(注：两者只相差一个斜杆)。
　　3.必须命名为robots.txt，不然就白做了，而且必须为小写英文。
　　4.另外，如果你的站点允许对所有搜索引擎公开，则不做这个文件或者robots.txt为空就行。
　　看到这里很多人或许会说，那最好就是不做，管他干嘛呢。你必须明白，做SEO第一个步骤就是弄好robots.txt，如果这个出点问题，对你网站的收录是极其不利的。所以，当你向搜索引擎提交你的网站前，必须先检查一下这个，几分钟的事，不要怕麻烦。
　　另外，写在最后，robots.txt最大的一个作用：百度不像Google网站管理工具可以提交googel sitemaps，你可以把自己网站地图的地址放在robots.txt的任意位置，那就是间接向百度提交了你的网站地图，何乐而不为呢。
　　本文作者：www.joy0574.com
作者 lee 本文仅代表作者观点,与情缘站长教程网立场无关.

收藏分享邀请

		自动登录	找回密码
密码			注册

Robots.txt介绍及用法

最新评论

相关分类