从淘宝百度之战看百度

2009-12-13 02:15| 发布者: admin| 查看: 18| 评论: 0|原作者: 小寳寳

　　淘宝网从九月六号就已经是完全屏蔽了百度
　　http://www.taobao.com/robots.txt 可以看出
　　User-agent: Baiduspider
　　Disallow: /
　　User-agent: baiduspider
　　Disallow: /
　　在百度帮助http://www.baidu.com/search/spider.html也有一条说明
　　我不想我的网站被baiduspider访问，我该怎么做?
　　baiduspider遵守互联网robots协议。您可以利用robots.txt文件完全禁止baiduspider访问您的网站，或者禁止baiduspider访问您网站上的部分文件。注意：禁止baiduspider访问您的网站，将使您的网站上的网页，在百度搜索引擎以及所有百度提供搜索引擎服务的搜索引擎中无法被搜索到。
　　然后事实上到了九月十号，无论是百度taobao.com还是www.taobao.com都已更新
　　

　　baiduspider遵守不遵守互联网robots协议，很容易就得出结论了
作者 baibai 本文仅代表作者观点,与情缘站长教程网立场无关.

收藏分享邀请

		自动登录	找回密码
密码			注册

从淘宝百度之战看百度

最新评论

相关分类