腾讯搜搜搜索引擎不遵守Robot协议

2013年05月21日 19:23:43 · 本文共 291 字阅读时间约 1分钟 · 4,003 次浏览

我在写这篇博文的时候，域名备案还没下来，所以，只能用空间商的三级域名临时访问我设置了Robot.txt，禁止所有搜索引擎抓取我站点的任何页面，但是今天看统计时，蜘蛛记录中竟然有腾讯SOSO的记录！我随即去腾讯SOSO去搜索我的站点，竟然被收录了，收录的域名就是超长的三级域名，而且每天收录两页。当我想联系SOSO的时候，发现，竟然找不到联系方式！快照也没有投诉选项！其他搜索引擎均不抓取，唯独SOSO，他竟然不遵守Robot协议！以下是截图证据：

后来我检查我的robot文件，发现robots.txt写成了robot.txt，但是其他搜索引擎均没有抓取，唯独SOSO，SOSO是那么弱智吗？现在该问题已经改正，并且挨个禁止了搜索引擎的抓取。

商业用途请联系作者获得授权。
版权声明：本文为博主「任霏」原创文章，遵循 CC BY-NC-SA 4.0 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.renfei.net/posts/1000014

腾讯搜搜搜索引擎不遵守Robot协议

相关推荐