The Decoder· Jonathan Kemper·· 2 小时前精选AI 评分78
研究发现:复杂编码智能体框架仅推高成本未提升性能
Fancy harnesses make coding agents more expensive but not better, study finds
AI 导读
最新研究指出,Claude Code 等复杂编码智能体框架相比轻量级方案并未显著提升任务通过率,但导致 token 消耗和成本增加两到三倍。实验显示不同框架间的性能差异与重复运行产生的噪声相当,仅 OpenCode 因输出限制存在显著劣势。作者建议发布框架对比结果时附带同设置的重跑数据以排除噪声干扰。
AI 推荐理由
研究通过控制变量对比发现,复杂框架主要增加成本而非提升通过率,为评估智能体工具提供了去噪基准。
来源:The Decoder · the-decoder.com