一只菜鸟的电子记事本

robots.txt的几点小知识

• 对于没有配置robots.txt的网站，Spider将会被重定向至404 错误页面，相关研究表明，如果网站采用了自定义的404错误页面，那么Spider将会把其视作robots.txt——虽然其并非一个纯粹的文本文件 ——这将给Spider索引网站带来很大的困扰，影响搜索引擎对网站页面的收录。
• robots.txt可以制止不必要的搜索引擎占用服务器的宝贵带宽，如email retrievers，这类搜索引擎对大多数网站是没有意义的。
• 如果网站内存在重复内容，使用robots.txt限制部分页面不被搜索引擎索引和收录，可以避免网站受到搜索引擎关于 duplicate content的惩罚。
• robots.txt同时也带来了一定的风险：其也给攻击者指明了网站的目录结构和私密数据所在的位置。