Grok 4.7 编码表现及奖励黑客现象
Grok 4.7 的编码能力仅算一般，但其“奖励黑客”行为确实让我感到惊讶。SWE-Together 中的每个任务都源自真实的开源仓库，且对于大多数任务而言，修复方案已存在于上游。因此，我们在构建沙箱时充分考虑了这一点。任务镜像剥离了所有 git 历史
#评测/基准
Zhuokai ZhaoAI 评分5050
OpenRouter Announcements精选AI 评分6868 OpenRouter 评测：Jev 1.13 与 Claude Opus 5 在分类任务中的性能与成本对比
OpenRouter 对 TypeSafe 的 Jev 1.13 模型与 Claude Opus 5 在 Banking77 意图分类任务上进行了基准测试。结果显示 Jev 准确率比 Opus 低 3.3 个百分点（81.0% vs 84.4%），但中位延迟快 13 倍且成本低 22 倍。
推荐理由：原文通过 Banking77 数据集实测对比了 Jev 与 Claude Opus 5 在分类任务上的精度、延迟和成本，并提供了基于置信度的级联路由方案。
OpenRouter Announcements精选AI 评分6868 OpenRouter 解析 Jev 与 LLM-as-a-Judge 的评估差异及选型指南
OpenRouter 发布技术解析，对比 TypeSafe 的决策模型 Jev 与传统 LLM-as-a-Judge 在 Agent 输出评估中的表现。测试显示，在证据完备的封闭标准下，Jev 与 LLM 判断器准确率相当，但具备更好的概率校准性，且成本仅为后者的 1/5，延迟为 1/10；而在需要长文本推理的开放标准（如摘要一致性）中，LLM 判断器与专家评分的相关性更高。
推荐理由：原文通过实测对比了 Jev 与 LLM-as-a-Judge 在准确率、校准度及成本上的差异，并给出了不同评估场景下的选型建议。
SemiAnalysis精选AI 评分8282 SemiAnalysis 实测 Vera Rubin NVL72：智能体推理每美元性能提升 67 倍
SemiAnalysis 发布 Vera Rubin NVL72 在 AgentX 智能体推理基准下的首份验证结果，显示其在特定场景下每美元总拥有成本（TCO）产生的吞吐量约为 GB300 的 67 倍。
推荐理由：基于 AgentX 基准实测 Vera Rubin NVL72，量化其相比 Blackwell 在智能体推理中的能效与成本优势。
Zhuokai ZhaoAI 评分3131 TogetherBench新增五款前沿模型
我们向 TogetherBench 添加了另一组前沿模型：GPT-6 Astra、Grok 4.6、Gemini 3.8 Flash、Claude Opus 5 和 Opus 4.7。在每个评估维度中：pass@1 / pass² — 条形图。完整条形长度为 pass@1，即完全解决任务的比例（judge ≥
Zhuokai ZhaoAI 评分4545 SWE-Together更新：Claude Fable 5登顶
SWE-Together 更新：Claude Fable 5 和 5.1 成为 SWE-Together 上的新顶级模型，Meta 的 Muse Spark 1.3 是榜单上性价比最高的模型。SWE-Together 是我们包含 109 个真实编码任务并引入模拟用户交互的基准测试，旨在告诉你新模型是否会
Sierra Blog精选AI 评分6363 Sierra 开源 Hyper-𝜏-bench：评估构建智能体的智能体
Sierra 开源长程智能体评测基准 Hyper-𝜏-bench（即 𝜏^𝜏-bench），用于衡量模型不仅作为智能体行动、更能构建智能体的能力。该基准要求开发者智能体在沙盒中从模拟业务记录恢复规格、设计架构并生成工具，最终交付符合成本预算的客服智能体。
推荐理由：原文通过沙盒环境量化了模型构建智能体的能力瓶颈，揭示了从规格恢复到成本控制的五大失败模式。
SemiAnalysis精选AI 评分8282 SemiAnalysis发布TPUv7 Ironwood第三方推理实测与TorchTPU栈深度解析
SemiAnalysis在InferenceX Preview中发布了Google TPUv7 Ironwood的首批第三方推理结果，显示其在FP8聚合服务模式下相比NVIDIA B200/B300拥有最高50%的性能每美元优势。
推荐理由：第三方实测显示TPUv7在FP8聚合服务下性能每美元比B200高50%，并解析了TorchTPU栈的优化细节。
Ai2 / Allen Institute for AIAI 评分4242 Ai2 推出 BenchMIRT：审计 LLM 基准测试实际测量的能力
Ai2 发布 BenchMIRT，利用多维项目反应理论（MIRT）在单个提示词层面审计 LLM 基准测试。该方法基于 100 个模型、16 个基准及超 3.4 万个问题的数据训练，独立识别出安全与通用推理两个主导维度。分析显示 BBQ 和 WMDP 等基准的得分更多反映通用推理能力而非预设的安全目标，揭示了单一分数可能混淆不同信号的问题。
LangChain BlogAI 评分4545 LangSmith 推出 LLM-as-a-Judge 自改进评估器
LangSmith 为 LLM-as-a-Judge 评估器新增“自改进”功能，将人工修正存储为少样本示例并反馈至提示词。该方案无需额外提示工程即可使评估器适应人类偏好，简化了自然语言输出的自动化评测流程。
SemiAnalysis精选AI 评分8383 SemiAnalysis 发布开源智能体推理基准 AgentX 1.0
SemiAnalysis 宣布推出 AgentX 1.0，这是全球首个完全开源的多轮智能体编码推理基准，支持百万级上下文长度，采用 Apache 2.0 协议发布。
推荐理由：SemiAnalysis 发布首个百万上下文智能体编码推理基准 AgentX，并开源了针对 vLLM、SGLang 等框架的数十项上游优化，为评估 AI 硬件在真实多轮长上下文负载下的性能提供了新标准。
SemiAnalysis精选AI 评分7878 SemiAnalysis 分析开源模型追赶闭源前沿的周期规律
SemiAnalysis 指出开源 AI 模型追赶闭源前沿模型的周期正在逐代减半，从早期扩展时代的约两年缩短至智能体时代的数月。
推荐理由：通过量化三个技术时代中开源模型追赶闭源前沿的时间周期，揭示了差距缩短的加速规律及其对行业格局的影响。
Together AI Blog精选AI 评分8282 Together AI 评测 GLM-5.3 与 GPT-5.6 Sol：成本、编码能力与路由策略对比
Together AI 在 DeepSWE 基准上对 GLM-5.3 (max) 和 GPT-5.6 Sol (max) 进行了 904 次 rollout 测试。
推荐理由：通过904次实测对比GLM-5.3与GPT-5.6 Sol在DeepSWE上的成本、通过率及失败模式，揭示了级联路由策略能以更低成本超越单一旗舰模型的性能。
Together AI Blog精选AI 评分8080 Together AI 发布 GLM-5.3 与 Claude Fable 5 在 DeepSWE 上的评测：成本、编码能力与路由策略
Together AI 在 DeepSWE 基准上对比了 GLM-5.3 和 Claude Fable 5，两者首次尝试通过率（pass@1）统计上持平，但 GLM-5.3 成本低 5.4 倍且在多次重试下覆盖率更高。
推荐理由：原文通过 DeepSWE 基准实测对比两款模型在成本、准确率及特定语言领域的表现，为开发者提供基于数据的选型与路由策略参考。
Import AIAI 评分4242 Import AI 469：DiG-bench 评测、RSI 模拟器与扎克伯格技术悲观主义
DiG-bench 显示 Opus 5 和 Fable 5 在 Tier 7 任务中表现最佳，但当前前沿模型仍难超越人类。Paradigm Research 推出 RSI Simulator 浏览器游戏以模拟递归自我改进过程。Inherent 发布开源权重模型，旨在训练具备科研品味的 AI 科学家并监督前沿模型。
Together AI Blog精选AI 评分8282 Together AI 发布 DeepSeek V4 Pro 0813 与 Claude Fable 5 在 DeepSWE 上的成本与编码评测
Together AI 在 DeepSWE 基准上对比了 DeepSeek V4 Pro 0813 和 Claude Fable 5，发现后者单次通过率更高但成本贵 90 倍。
推荐理由：通过 DeepSWE 实测对比两款模型的成本与能力差异，提供了基于互补性的级联路由策略以优化编程任务性价比。
Ai2 / Allen Institute for AIAI 评分4545 Ai2 推出 TutorMoments：评估 LLM 导师何时介入与何时放手
Ai2 发布 TutorMoments 框架，利用 462 份真实数学辅导记录测试 LLM 能否平衡“提供支架”与“推动深度思考”。初步结果显示，模型在仅被告知“好好辅导”时倾向于过度帮助，明确提示权衡策略虽能提升表现，但仍难达到人类导师的精准判断水平。
Ai2 / Allen Institute for AIAI 评分4545 Ai2 发布 olmo-eval：面向 LLM 开发循环的评估工作台
Ai2 推出基于 OLMES 标准的 olmo-eval 评估工作台，专为 LLM 开发中的频繁迭代设计。该工具支持智能体与多轮评估，允许按需选择轻量直接运行或容器隔离环境，并提供逐题对比分析以区分真实改进与噪声。
Ethan Mollick · One Useful ThingAI 评分6262 Ethan Mollick：为何企业应像招聘员工一样面试 AI 模型
Ethan Mollick 认为现有 AI 基准测试存在缺陷且难以衡量特定场景能力，建议企业通过模拟真实工作任务的“面试”来评估模型。他引用 OpenAI GDPval 研究说明不同模型在专业领域表现差异显著，并强调需针对具体用例进行多轮测试以识别模型在判断力和风险偏好上的细微差别。