在百度C2C产品“百度有啊”即将上线的时候,淘宝网站曾经屏蔽百度搜索爬虫,禁止百度搜索引擎抓取淘宝网站的网页内容,淘宝官方的解释是“杜绝不良商家欺诈”。 在技术层面,淘宝屏蔽百度的方法是,在网站的robots.txt文件中加上如下内容: User-agent: Baiduspider Disallow: / 但实际上这种方法并不能完全屏蔽百度的爬虫,至今在百度上输入site:taobao.com还是可以看到内容,要不要索引网站,还是由百度说了算,要是遵守robots协议,那才不会索引,因此要想完全屏蔽百度的爬虫,需要在.htaccess中加入一些语句才可以,下面介绍两种方法。 方法1: RewriteEngine on RewriteCond %{HTTP_USER_AGENT} ^Baiduspider [NC] RewriteRule .* - [F] 方法2: SetEnvIfNoCase User-Agent "^Baiduspider" bad_bot Order Allow,Deny Allow from all Deny from env=bad_bot 当然,对于普通中文网站来说,还是不建议屏蔽百度的爬虫,通常情况下做一些大型的英文网站,才有必要这么做,以节省流量。 |
|小黑屋|最新主题|手机版|微赢网络技术论坛 ( 苏ICP备08020429号 )
GMT+8, 2024-10-1 01:22 , Processed in 0.126328 second(s), 12 queries , Gzip On, MemCache On.
Powered by Discuz! X3.5
© 2001-2023 Discuz! Team.