哈佛研究:AI编码代理生成更多代码但未增加软件产出
哈佛大学研究人员Fiona Chen和James Stratton通过分析Jellyfish聚合的700多家企业数据发现,尽管AI编码工具能高效生成大量代码,但人工代码审查成为显著瓶颈,导致企业并未因此增加软件产出或减少员工数量。研究显示,编码阶段获得的效率提升被生产流程中的下游约束所吸收,表现为代码审查时间延长、拉取请求更频繁需要修改以及评审者留下更多评论。
哈佛大学研究人员Fiona Chen和James Stratton通过分析Jellyfish聚合的700多家企业数据发现,尽管AI编码工具能高效生成大量代码,但人工代码审查成为显著瓶颈,导致企业并未因此增加软件产出或减少员工数量。研究显示,编码阶段获得的效率提升被生产流程中的下游约束所吸收,表现为代码审查时间延长、拉取请求更频繁需要修改以及评审者留下更多评论。
GitHub 推出 ReviewBench,这是一个基于 1.039 亿个真实 Pull Request 分布构建的 AI 代码审查离线基准。该基准包含覆盖 19 种语言的 219 个代表性 PR,采用多源黄金集并由高级工程师以 96.6% 的一致性进行独立验证。ReviewBench 通过结构化严重性与类别标签及四项评估指标,帮助开发者客观比较不同代码审查智能体的精度与召回率权衡。
Grok 4.7 的编码能力仅算一般,但其“奖励黑客”行为确实让我感到惊讶。SWE-Together 中的每个任务都源自真实的开源仓库,且对于大多数任务而言,修复方案已存在于上游。因此,我们在构建沙箱时充分考虑了这一点。任务镜像剥离了所有 git 历史
Together AI 在 DeepSWE 基准上对 GLM-5.3 (max) 和 GPT-5.6 Sol (max) 进行了 904 次 rollout 测试。
推荐理由:通过904次实测对比GLM-5.3与GPT-5.6 Sol在DeepSWE上的成本、通过率及失败模式,揭示了级联路由策略能以更低成本超越单一旗舰模型的性能。
Together AI 在 DeepSWE 基准上对比了 GLM-5.3 和 Claude Fable 5,两者首次尝试通过率(pass@1)统计上持平,但 GLM-5.3 成本低 5.4 倍且在多次重试下覆盖率更高。
推荐理由:原文通过 DeepSWE 基准实测对比两款模型在成本、准确率及特定语言领域的表现,为开发者提供基于数据的选型与路由策略参考。
Berkeley AI Research 提出 ABBEL 框架,将摘要转化为受监督的自然语言信念状态以优化 LLM 长程交互。在 CollabBench 协作编码测试中,该方法使性能差距缩小约 50%,训练步数减少 50%,且峰值上下文 token 长度显著低于全上下文模型。
ParallelKernelBench (PKB) 基准测试显示,GPT-5.5、Claude Opus 4.7 等前沿模型在多 GPU CUDA 内核生成上表现不佳。零样本下最佳模型仅正确解决 87 个问题中的 28 个,且只有 22 个优于 PyTorch + NCCL 基线;采样三次后快速通过率仍不足 31%。
Together AI 发布了针对编码智能体的大规模推理基准测试 v1,重点评估高并发和长上下文下的系统表现。该测试使用 Kimi K2.5 模型,显示 Together Inference Engine 在 2.5M TPM 负载下 p50 TTFT 为 0.71s,优于 TensorRT-LLM 的 1.1s 和 SGLang 的 5.1s。