真搞笑，堂堂百度居然看不懂robots.txt

© 2008年6月13日 Filed under: 网络日志

这个世界总有一些事情让你想不明白，做网站的人都知道可以通过设置robots.txt文件告诉搜索引擎那些东西可以抓取那些不可以抓取，可咱们号称中国google的百度却偏偏像个瞎子一样对robots.txt视而不见。

为什么这么说呢？花果山寨在转用wordpress之前用的是zblog，由于之前的空间还没有到期，所以一直没有把zblog程序从空间上删除，而手头上又有一个域名没地方用所以就把这个域名指向原来的空间，但为了不让搜索引擎误会重复内容，于是设置了robots.txt文件限制了所有的搜索引擎抓取，一段时间后所有的搜索引擎都不再抓取，唯独百度不同！

User-agent: *
Disallow: /

上面就是按百度给出的标准格式去设定的robots.txt文件见容，为何百度自己却看不懂呢？看收录截图：

百度居然看不懂robots.txt

可能有人会有疑问是不是以前收录的数据还没有来得及更新呀？这是不可能的，一来是这个域名以前并没有指向过这个空间，百度根本就没有这个域名的数据；二来从这些收录时间上看得出是最近收录的。看截图：

百度居然看不懂rotots.txt

这17条数据全都是5月底收录的，是最新的收录数据！所以我才敢说堂堂百度居然连robots都看不懂，太奇怪了！

欢迎订阅: Google Reader | 鲜果 | 抓虾 | 九点 | QQ邮箱 | 有道 | 更多...

更多相关文章...

标签: , , , 关注回复 引用文章
上周前六：
  • 范宝胜 (1)
  • 刺鸟 (1)
  • tiao58 (1)
  • 唱着红歌看小片 (1)
  • 跪求 (1)
  • 不是啊 (1)
    • 我要上榜

    14 Comments

    1. Elton Disney 说道：
      2008年6月13日 14:30

      其实百度不止这么搞笑，反正它就是很搞笑～～～

      回复
    2. LoveBlogEarn 说道：
      2008年6月13日 14:35

      不是很懂！或许百度也有发闷的时候！

      回复
    3. 小胖 说道：
      2008年6月13日 14:51

      百度一般都无视robots.txt的，已经是传统了

      回复
    4. cosbeta 说道：
      2008年6月13日 17:40

      谁都知道baidu是流氓一般的抓取，无视robots的存在，然后就号称自己最懂中文，以至于将别人不喜欢公开的东西都给抓出来了

      回复
    5. 幼峰 说道：
      2008年6月13日 17:59

      百度向来都很白痴

      回复
    6. nihao 说道：
      2009年5月21日 01:34

      过去我是不知道，现在估计任何SEO高手都不能直接对Baidu搜索和搜索快照有很好的优化，很多拥有很多内容（网页）的老网站都被K了（连www.sina.com.cn 的Baidu快照都近7年多不更新了 百度搜索 site:www.sina.com.cn）哪个SEO能解释？我们可以认为百度是一个垃圾的骗钱网站，目的就是钱和用钱排名。站长不要为百度没有收录或收录减少而又被所谓的“SEO高手”欺骗，扔掉Baidu一样会光明，因为百度已经沦落为最大的互联网癞皮。详细请看(图文)：http://www.macsetup.cn/file_208.html

      回复
    7. 贺昌 说道：
      2011年8月21日 11:07

      我一直为这个事情愁的很，百度白痴~

      回复
    8. tiao58 说道：
      2011年12月24日 11:57

      还是能看懂的，只是反应慢些。

      回复
    9. tamen 说道：
      2012年1月29日 21:14

      流氓baidu是随便抓取，无视robots的存在，而后夜郎自大，称自己最懂中文，故别人不想被看到的东西也被释放了出来。我们可以通过其他媒体来宣传，但关键要注重内容，详细请看(图文)：http://www.kanglewang.net

      回复

    Post a Comment