Symphony 一个人不能没有长进

对于没有配置robots.txt的网站，Spider将会被重定向至404 错误页面，相关研究表明，如果网站采用了自定义的404错误页面，那么Spider将会把其视作robots.txt——虽然其并非一个纯粹的文本文件 ——这将给Spider索引网站带来很大的困扰，影响搜索引擎对网站页面的收录。
robots.txt可以制止不必要的搜索引擎占用服务器的宝贵带宽，如email retrievers，这类搜索引擎对大多数网站是没有意义的。
如果网站内存在重复内容，使用robots.txt限制部分页面不被搜索引擎索引和收录，可以避免网站受到搜索引擎关于 duplicate content的惩罚。
robots.txt同时也带来了一定的风险：其也给攻击者指明了网站的目录结构和私密数据所在的位置。

是的，设计的东西没有人用，不要抱怨曲高和寡，是因为我们的努力还不够，制造的产品还不受欢迎，如果真正是好的产品，那用户一定能接受。
同时程序员应尽力避免过度设计。竭尽全力地去抽象各种方法，直至再也无法理解，这不应该成为生活的一部分。好的设计应该是稳定的，实用的，既满足需求又具备必要的扩展性的。
可以的话多掌握一些技术，不要只盯着某一项技术，要大胆地做出尝试，要更自信一点。