真搞笑，堂堂百度居然看不懂robots.txt

Filed in：网络日志作者：许三品发布于：2008.06.13

这个世界总有一些事情让你想不明白，做网站的人都知道可以通过设置robots.txt文件告诉搜索引擎那些东西可以抓取那些不可以抓取，可咱们号称中国google的百度却偏偏像个瞎子一样对robots.txt视而不见。

为什么这么说呢？花果山寨在转用wordpress之前用的是zblog，由于之前的空间还没有到期，所以一直没有把zblog程序从空间上删除，而手头上又有一个域名没地方用所以就把这个域名指向原来的空间，但为了不让搜索引擎误会重复内容，于是设置了robots.txt文件限制了所有的搜索引擎抓取，一段时间后所有的搜索引擎都不再抓取，唯独百度不同！

User-agent: *
Disallow: /

上面就是按百度给出的标准格式去设定的robots.txt文件见容，为何百度自己却看不懂呢？看收录截图：

可能有人会有疑问是不是以前收录的数据还没有来得及更新呀？这是不可能的，一来是这个域名以前并没有指向过这个空间，百度根本就没有这个域名的数据；二来从这些收录时间上看得出是最近收录的，看截图：

百度居然看不懂rotots.txt

这17条数据全都是5月底收录的，是最新的收录数据！所以我才敢说堂堂百度居然连robots都看不懂，太奇怪了！

10 条评论

Elton Disney said on: 2008.06.13 at 14:30 [回复]
其实百度不止这么搞笑，反正它就是很搞笑～～～
LoveBlogEarn said on: 2008.06.13 at 14:35 [回复]
不是很懂！或许百度也有发闷的时候！
小胖 said on: 2008.06.13 at 14:51 [回复]
百度一般都无视robots.txt的，已经是传统了
cosbeta said on: 2008.06.13 at 17:40 [回复]
谁都知道baidu是流氓一般的抓取，无视robots的存在，然后就号称自己最懂中文，以至于将别人不喜欢公开的东西都给抓出来了
幼峰 said on: 2008.06.13 at 17:59 [回复]
百度向来都很白痴
大圣 said on: 2008.06.13 at 19:22 [回复]
哦！那就要列列它的笑料了
大圣 said on: 2008.06.13 at 19:22 [回复]
呵呵！可能是出现了机器故障！
大圣 said on: 2008.06.13 at 19:23 [回复]
我还是首次看到！
大圣 said on: 2008.06.13 at 19:23 [回复]
该抓的不抓不该抓的却去抓，很有“个性”嘛
大圣 said on: 2008.06.13 at 19:24 [回复]
充个性！牛B大了，就喜欢与天下人对着干！