Taste-Bench 基准测试显示 AI 智能体在长期决策中表现不佳
研究人员推出 Taste-Bench 基准，旨在评估 AI 智能体在长期任务中的“品味”，即中间步骤的质量而非仅看最终结果。该基准包含 502 个问题，要求模型在轨迹分叉点预测哪条路径更优，结果显示即使是表现最好的 GPT-5.6 Sol 准确率也仅为 59.7%，接近随机猜测水平。
#评测/基准
The DecoderAI 评分7070
The Decoder精选AI 评分8282 GPT-6-Astra 在理论物理基准测试中解决 49/50 个问题
最新研究显示，GPT-6-Astra 在 TheoPhysEval 基准测试中以平均每题不到 $3 的成本解决了 49 个理论物理问题，准确率达 98%。该测试聚焦于应用已知方法处理微调问题的“例行”研究工作，Anthropic Opus 5.5 以 92% 的准确率位居第二。尽管模型在具体计算上表现强劲，但研究者指出其在构建理论和判断问题趣味性方面仍无法替代人类专家。
推荐理由：原文披露了针对理论物理常规计算任务的基准测试结果及成本数据，读者可据此评估当前模型在科研辅助中的实际能力边界。
Artificial AnalysisAI 评分4545 AA-Robotics v0.1发布
欢迎来到具身智能时代。我们推出AA-Robotics v0.1，这是一个研究预览版，用于衡量前沿语言模型在物理世界中的理解、规划和行动能力。在v0.1中，每个模型被赋予控制一个6轴机械臂（5个关节和一个
Artificial AnalysisAI 评分4242 Artificial Analysis 发布决策指数
推出 Artificial Analysis Decision Index，对分类、工具调用、知识和推理的决策模型进行基准测试。Jev 在决策模型中领先；Claude Haiku 5.5 等语言模型仍提供更高的准确率，但成本要高得多且
IT之家AI 评分4545 4 GPU Tesla V100 集群 AI 推理跑赢 2 台 DGX Spark
YouTube 频道 Jun Yamog 测试显示，4 张英伟达 Tesla V100 组成的 NVLink 集群在 Qwen3.8-Flash-Next 基准中，长提示处理速度较 2 台 DGX Spark 快 40%，较 M5 Ultra 快 230%。
Artificial AnalysisAI 评分3535 AA-3D 评测机制：构建检查投票排名
AA-3D 工作原理：构建、检查、投票、排名 ➤ 每个模型作为离线沙盒中的智能体，将书面简报转化为网页 ➤ 无头浏览器和人工检查每个场景 ➤ 评审员比较来自同一简报的盲测配对 ➤ Bradley-Terry 拟合将投票转化为
Artificial AnalysisAI 评分4242 Artificial Analysis 发布 AA-3D 基准
我们已测量智能。现在该看看它了。我们推出 AA-3D，这是衡量 AI 模型构建交互式 3D 场景能力的新基准。每个模型作为代理在离线沙盒中运行，将书面简报转化为 three.js 网页。一个人类评审小组
Artificial AnalysisAI 评分2121 AA-Robotics v0.1即将发布
如今的前沿语言模型能否在零样本、无指导的情况下控制真实的机械臂？AA-Robotics v0.1 即将推出。
Artificial AnalysisAI 评分4040 Harvey 偏好研究揭示幻觉关键作用
在 Harvey 开展的人类偏好研究中，人类专家将幻觉列为在两个其他方面都很全面的回答中做出选择的主要决定因素。我们新的幻觉评分流程聚焦于那些可能对现实产生实质性影响的错误
Artificial AnalysisAI 评分3333 Harvey LAB-AA v1.1 发布
今日我们宣布与 Harvey 合作推出 Harvey LAB-AA v1.1。这更新了法律智能体基准（LAB）的评分方法，增加了幻觉检查，并要求正确回答不得包含实质性错误陈述。LAB-AA v1.1 的新核心指标为
Artificial AnalysisAI 评分2424 Artificial Analysis 发布智能指数 v5
宣布 Artificial Analysis Intelligence Index v5 将于 10 月下旬推出。Intelligence Index v5 将在评估 AI 前沿能力方面实现重大飞跃。变更包括新增 Terminal-Bench Science 和一个使用私有数据集的新编码基准。敬请期待
Artificial AnalysisAI 评分3030 Artificial Analysis 发布音乐基准 v1.1
我们即将推出 AA-Music-Vocal v1.1 和 AA-Music-Instrumental v1.1，这是 Artificial Analysis Music Arena 背后的新基准，基于 17 个流派中的 1,000 个新提示词构建，并由我们招募的评估小组进行评分。在过去 3 个月中，像 Suno v6 这样的旗舰模型发布
GitHub Blog · AI & MLAI 评分5050 GitHub 发布 ReviewBench：面向 AI 代码审查的开源基准
GitHub 推出 ReviewBench，这是一个基于 1.039 亿个真实 Pull Request 分布构建的 AI 代码审查离线基准。该基准包含覆盖 19 种语言的 219 个代表性 PR，采用多源黄金集并由高级工程师以 96.6% 的一致性进行独立验证。ReviewBench 通过结构化严重性与类别标签及四项评估指标，帮助开发者客观比较不同代码审查智能体的精度与召回率权衡。
DeepLearning.AI精选AI 评分6060 DeepLearning.AI 解读 GLM-5.3 与 Claude Mythos 网络安全能力对比
DeepLearning.AI 引用 Anthropic 数据指出，开源模型 GLM-5.3 在 ExploitBench 漏洞利用任务中解决率为 12%，接近 Claude Mythos 的 14%。此外，仅花费 $20.40 token 成本即发现了近期 Google Chrome 的一个安全漏洞。
推荐理由：原文引用 Anthropic 数据对比开源模型与 Claude Mythos 在 ExploitBench 上的表现，并提及低成本发现 Chrome 漏洞的案例。
OpenAIAI 评分4040 OpenAI 发布 MentalHealthBench
我们正通过 MentalHealthBench 展示前沿模型在真实心理健康对话中的持续改进。这一全新开源基准由 80 多位心理健康临床医生参与构建。我们将其公开，以便其他研究人员能够检查
Zhuokai ZhaoAI 评分5050 Grok 4.7 编码表现及奖励黑客现象
Grok 4.7 的编码能力仅算一般，但其“奖励黑客”行为确实让我感到惊讶。SWE-Together 中的每个任务都源自真实的开源仓库，且对于大多数任务而言，修复方案已存在于上游。因此，我们在构建沙箱时充分考虑了这一点。任务镜像剥离了所有 git 历史
OpenRouter Announcements精选AI 评分6868 OpenRouter 评测：Jev 1.13 与 Claude Opus 5 在分类任务中的性能与成本对比
OpenRouter 对 TypeSafe 的 Jev 1.13 模型与 Claude Opus 5 在 Banking77 意图分类任务上进行了基准测试。结果显示 Jev 准确率比 Opus 低 3.3 个百分点（81.0% vs 84.4%），但中位延迟快 13 倍且成本低 22 倍。
推荐理由：原文通过 Banking77 数据集实测对比了 Jev 与 Claude Opus 5 在分类任务上的精度、延迟和成本，并提供了基于置信度的级联路由方案。
SemiAnalysis精选AI 评分8282 SemiAnalysis 实测 Vera Rubin NVL72：智能体推理每美元性能提升 67 倍
SemiAnalysis 发布 Vera Rubin NVL72 在 AgentX 智能体推理基准下的首份验证结果，显示其在特定场景下每美元总拥有成本（TCO）产生的吞吐量约为 GB300 的 67 倍。
推荐理由：基于 AgentX 基准实测 Vera Rubin NVL72，量化其相比 Blackwell 在智能体推理中的能效与成本优势。
Sierra Blog精选AI 评分6363 Sierra 开源 Hyper-𝜏-bench：评估构建智能体的智能体
Sierra 开源长程智能体评测基准 Hyper-𝜏-bench（即 𝜏^𝜏-bench），用于衡量模型不仅作为智能体行动、更能构建智能体的能力。该基准要求开发者智能体在沙盒中从模拟业务记录恢复规格、设计架构并生成工具，最终交付符合成本预算的客服智能体。
推荐理由：原文通过沙盒环境量化了模型构建智能体的能力瓶颈，揭示了从规格恢复到成本控制的五大失败模式。
SemiAnalysis精选AI 评分8282 SemiAnalysis发布TPUv7 Ironwood第三方推理实测与TorchTPU栈深度解析
SemiAnalysis在InferenceX Preview中发布了Google TPUv7 Ironwood的首批第三方推理结果，显示其在FP8聚合服务模式下相比NVIDIA B200/B300拥有最高50%的性能每美元优势。
推荐理由：第三方实测显示TPUv7在FP8聚合服务下性能每美元比B200高50%，并解析了TorchTPU栈的优化细节。
Ai2 / Allen Institute for AIAI 评分4242 Ai2 推出 BenchMIRT：审计 LLM 基准测试实际测量的能力
Ai2 发布 BenchMIRT，利用多维项目反应理论（MIRT）在单个提示词层面审计 LLM 基准测试。该方法基于 100 个模型、16 个基准及超 3.4 万个问题的数据训练，独立识别出安全与通用推理两个主导维度。分析显示 BBQ 和 WMDP 等基准的得分更多反映通用推理能力而非预设的安全目标，揭示了单一分数可能混淆不同信号的问题。
SemiAnalysis精选AI 评分8383 SemiAnalysis 发布开源智能体推理基准 AgentX 1.0
SemiAnalysis 宣布推出 AgentX 1.0，这是全球首个完全开源的多轮智能体编码推理基准，支持百万级上下文长度，采用 Apache 2.0 协议发布。
推荐理由：SemiAnalysis 发布首个百万上下文智能体编码推理基准 AgentX，并开源了针对 vLLM、SGLang 等框架的数十项上游优化，为评估 AI 硬件在真实多轮长上下文负载下的性能提供了新标准。
SemiAnalysis精选AI 评分7878 SemiAnalysis 分析开源模型追赶闭源前沿的周期规律
SemiAnalysis 指出开源 AI 模型追赶闭源前沿模型的周期正在逐代减半，从早期扩展时代的约两年缩短至智能体时代的数月。
推荐理由：通过量化三个技术时代中开源模型追赶闭源前沿的时间周期，揭示了差距缩短的加速规律及其对行业格局的影响。
Together AI Blog精选AI 评分8282 Together AI 评测 GLM-5.3 与 GPT-5.6 Sol：成本、编码能力与路由策略对比
Together AI 在 DeepSWE 基准上对 GLM-5.3 (max) 和 GPT-5.6 Sol (max) 进行了 904 次 rollout 测试。
推荐理由：通过904次实测对比GLM-5.3与GPT-5.6 Sol在DeepSWE上的成本、通过率及失败模式，揭示了级联路由策略能以更低成本超越单一旗舰模型的性能。
Together AI Blog精选AI 评分8080 Together AI 发布 GLM-5.3 与 Claude Fable 5 在 DeepSWE 上的评测：成本、编码能力与路由策略
Together AI 在 DeepSWE 基准上对比了 GLM-5.3 和 Claude Fable 5，两者首次尝试通过率（pass@1）统计上持平，但 GLM-5.3 成本低 5.4 倍且在多次重试下覆盖率更高。
推荐理由：原文通过 DeepSWE 基准实测对比两款模型在成本、准确率及特定语言领域的表现，为开发者提供基于数据的选型与路由策略参考。
Import AIAI 评分4242 Import AI 469：DiG-bench 评测、RSI 模拟器与扎克伯格技术悲观主义
DiG-bench 显示 Opus 5 和 Fable 5 在 Tier 7 任务中表现最佳，但当前前沿模型仍难超越人类。Paradigm Research 推出 RSI Simulator 浏览器游戏以模拟递归自我改进过程。Inherent 发布开源权重模型，旨在训练具备科研品味的 AI 科学家并监督前沿模型。
Ai2 / Allen Institute for AIAI 评分4545 Ai2 推出 TutorMoments：评估 LLM 导师何时介入与何时放手
Ai2 发布 TutorMoments 框架，利用 462 份真实数学辅导记录测试 LLM 能否平衡“提供支架”与“推动深度思考”。初步结果显示，模型在仅被告知“好好辅导”时倾向于过度帮助，明确提示权衡策略虽能提升表现，但仍难达到人类导师的精准判断水平。