Taste-Bench 基准测试显示 AI 智能体在长期决策中表现不佳
研究人员推出 Taste-Bench 基准，旨在评估 AI 智能体在长期任务中的“品味”，即中间步骤的质量而非仅看最终结果。该基准包含 502 个问题，要求模型在轨迹分叉点预测哪条路径更优，结果显示即使是表现最好的 GPT-5.6 Sol 准确率也仅为 59.7%，接近随机猜测水平。
#评测/基准
The DecoderAI 评分7070
The DecoderAI 评分7575 Anthropic Claude 30分钟破解NSA 25年密码学谜团
Anthropic的AI模型Claude在不到30分钟内解开了困扰业界25年的NSA椭圆曲线数字签名标准（ECDSA）种子生成之谜。该谜题源于2000年NIST标准化时NSA提供的无解释种子值，曾引发后门担忧。
Artificial AnalysisAI 评分4040 d1-ultra非幻觉率达85%
d1-ultra 在 AA-Omniscience-Decision 上实现了最高的非幻觉率，达到 85%，是 Microsoft-Decision-1 的 40% 第二高率的倍以上。与 d1 相比，更多的弃权导致准确率降至 32%，而 d1 为 41%。
Artificial AnalysisAI 评分4242 Liquid AI 发布 d1-ultra 登顶决策指数
Liquid AI 发布了 d1-ultra，在 Artificial Analysis Decision Index v1.0 中占据第 1 位，得益于幻觉率的降低。d1-ultra 是 @liquidai 推出的新决策模型，继本月早些时候发布 d1 之后推出。其定价为 $0.042
Artificial AnalysisAI 评分4040 Beam 领跑美开源模型 Cyber 指数
Beam 在 Artificial Analysis Cyber Index 上得分 34%，是我们测试过的领先的美国开源权重模型。得益于其 token 效率，它也与 GPT-6 Sol (Daybreak Blue) 一起位于 Cyber Index vs. Output Tokens per task frontier 上
Artificial Analysis精选AI 评分6060 Reflection 发布开源模型 Reflection-3.7-70B
Artificial Analysis 报道 Reflection 发布了其首个开源模型 Reflection-3.7-70B。该模型拥有 50B 总参数和 70B 激活参数，在 Artificial Analysis Intelligence Index 中得分为 42。
推荐理由：原文给出了 Reflection 新模型的基准分数和参数规模，读者可据此快速评估其在开源阵营中的性能定位。
Artificial AnalysisAI 评分2424 Optima 简化自定义基准测试创建
通过最新更新，在 Optima 中创建和运行自定义基准测试变得比以往任何时候都更容易。这允许您针对特定用例评估模型。使用 Optima 您可以：➤ 3 步从想法到个性化基准测试 ➤ 比较模型智能
TechCrunch · AIAI 评分6565 Vercel 数据：Jev 成为其史上最快普及的 AI 模型
Vercel 发布的数据显示，由 TypeSafe AI 开发的 Jev 模型在上线两周内即被 35% 的付费团队使用，成为该平台历史上普及速度最快的 AI 模型。
The Decoder精选AI 评分7878 Gemini 4 Argon 在 ARC-AGI-3 基准测试中的表现分析
Google DeepMind 的 Gemini 4 Argon 在 ARC-AGI-3 基准测试中使用 Provider Adapter Harness 获得 97.5% 的分数，成为继 OpenAI 之后第二家突破 95% 的 AI 实验室。
推荐理由：原文对比了不同测试环境下的分数差异，并指出模型在数学和软件工程领域的相对短板。
Artificial AnalysisAI 评分2929 Muse Spark Open 幻觉率最低
Muse Spark Open (xhigh) 在 AA-Omniscience (25) 上领跑所有开源权重模型，其驱动力在于它是得分 30 分以上的开源权重模型中幻觉率最低的（24%）
Artificial AnalysisAI 评分4242 DeepSeek V4.1 Flash 刷新吞吐纪录
在 DeepSeek V4.1 Flash 上，Vera Rubin 在每用户约 230 至 350 tok/s 区间内，每兆瓦吞吐量约为 GB300 的 3.4 至 3.6 倍，并在单台 4-GPU 服务器上达到每用户 906 tok/s，这是我们在排行榜上任何模型的最快结果
Artificial AnalysisAI 评分5353 Artificial Analysis 发布 NVIDIA Vera Rubin NVL72 初步性能结果
Artificial Analysis 在 AA-AgentPerf 上发布了 NVIDIA Vera Rubin NVL72 的初步测试结果。数据显示，该硬件在 DeepSeek V4 Pro 上的每兆瓦总吞吐量约为前代 GB300 NVL72 的 ~5.7x，在 DeepSeek V4.1 Flash 上约为 ~5.4x，在 GLM-5.2 和 Kimi K3 上分别约为 ~3.0x 和 ~2.8x。Vera Rubin 是 NVIDIA 的下一代架构产品。
Artificial Analysis精选AI 评分6262 Artificial Analysis 发布模型评测分析
Artificial Analysis 发布了针对 AI 模型的评测分析内容。该报告基于独立测试数据，展示了相关模型的性能表现与对比结果。
推荐理由：第三方机构对模型性能进行独立实测，提供了可参考的量化数据与对比视角。
Ethan MollickAI 评分4040 智能模型终结ARC-AGI等基准
框架 + 智能模型 = 最后几个著名硬基准的终结。模型现在可以工作极长时间（再见，METR Long Tasks），可以输出数学正确的专业文档（再见，GDPval），并且可以解决复杂的新颖谜题（再见，ARC-AGI-3）。
The Decoder精选AI 评分8282 GPT-6-Astra 在理论物理基准测试中解决 49/50 个问题
最新研究显示，GPT-6-Astra 在 TheoPhysEval 基准测试中以平均每题不到 $3 的成本解决了 49 个理论物理问题，准确率达 98%。该测试聚焦于应用已知方法处理微调问题的“例行”研究工作，Anthropic Opus 5.5 以 92% 的准确率位居第二。尽管模型在具体计算上表现强劲，但研究者指出其在构建理论和判断问题趣味性方面仍无法替代人类专家。
推荐理由：原文披露了针对理论物理常规计算任务的基准测试结果及成本数据，读者可据此评估当前模型在科研辅助中的实际能力边界。
Artificial AnalysisAI 评分4242 Nemotron 3.5 Super VL登顶美开源
Nemotron 3.5 Super VL 是美国得分最高的开放权重模型，在智能指数中得分为 26。它略胜 Thinking Machines 的 Inkling Small（26），并超越了 NVIDIA 之前的旗舰产品 Nemotron 3 Ultra（23）以及 Meta 的 Muse Glimmer（17）。尽管取得了这一进步，美国
Artificial Analysis精选AI 评分6868 Artificial Analysis：Nvidia Nemotron 3.5 Super VL 成为美国领先开源权重模型
Nvidia Nemotron 3.5 Super VL 目前在 Artificial Analysis Intelligence Index 上得分为 26，成为领先的美国开源权重模型。该模型实现了前代 Nemotron 3 Super（得分 13）两倍智能水平，且每任务输出 token 减少约 60%。
推荐理由：原文提供了Nemotron 3.5 Super VL在智能指数上的具体得分及与上一代模型的效率对比数据，有助于评估其性能提升幅度。
Google Developers Blog精选AI 评分6262 Google 开发者博客分享 AI Agent 评估实战指南
Google 开发者博客发布文章，介绍如何超越主观“感觉检查”，为 AI Agent 建立可重复的评估体系。文章提出了基于关键用户旅程（CUJ）定义成功标准、使用模拟用户生成测试场景、以及结合人工审查与自动化工具的分阶段实施策略。
推荐理由：原文提供了从人工审查到自动化 CI/CD 的评估落地路径，并给出了规避常见陷阱的具体方法。
Artificial AnalysisAI 评分3838 AI模型离线构建埃菲尔铁塔
我们要求AI模型在离线状态下以3D形式构建埃菲尔铁塔。其中两个模型凭记忆按顺序添加了全部72位科学家的名字。这出乎我们的意料。每个AA-3D模型都收到了约200字的相同简报，内容涉及塔的形状、格构、平台和照明。它从未
LangChain BlogAI 评分4545 LangChain 解答 Agent Evals 常见疑问
LangChain 团队基于 LangSmith 平台解析智能体评估（Agent Evals）的核心问题，涵盖离线与在线评估的区别及四种主要评估器类型。文章建议从分析 Trace 入手构建小规模数据集，通过持续添加失败案例形成改进闭环，并指导用户利用代码检查或 LLM 裁判监控生产环境质量。
Artificial AnalysisAI 评分3838 MI355X在DeepSeek V4 Pro性能领先
MI355X 在 DeepSeek V4 Pro 0813 上表现最强。在每用户 35 至 75 tok/s 区间，其每兆瓦吞吐量比 B200 高约 15% 到 40%，峰值达每兆瓦 94M tokens/s（对应每用户 33 tok/s），此水平 B200 需降至每用户 13 tok/s 才能达到。当每用户速度超过约 80 tok/s 时，B200
Artificial AnalysisAI 评分2828 AA-AgentPerf新增AMD MI355X测试
除了新的 DeepSeek V4.1 Flash 结果外，我们还在 AA-AgentPerf 中为 Kimi K3、GLM-5.2/5.3 和 DeepSeek V4 Pro 添加了 AMD 的 MI355X - 将其与我们在编码智能体工作负载上最新的 NVIDIA 系统结果进行比较。AA-AgentPerf 是我们的智能体推理性能
Artificial AnalysisAI 评分3737 Grok Voice 3.0语音榜第三
在我们的语音智能体竞技场中，人们进行盲测实时语音对话并选择他们偏好的模型，Grok Voice 3.0以1070的Elo分数位列第3，落后于Gemini 3.1 Flash Live Minimal（1100）和Gemini 3.8 Live（1088），领先于GPT-Live-1 (Sol, low)（1057）。它还
Artificial AnalysisAI 评分5555 Artificial Analysis评测显示Grok Voice 3.0登顶Speech to Speech Index
Artificial Analysis评测显示SpaceXAI的Grok Voice 3.0以86.9分位居Speech to Speech Index榜首。该模型作为Grok Voice 2.0的继任者，在保持延迟竞争力的同时取得了新的领先成绩。
Artificial AnalysisAI 评分4545 AA-Robotics v0.1发布
欢迎来到具身智能时代。我们推出AA-Robotics v0.1，这是一个研究预览版，用于衡量前沿语言模型在物理世界中的理解、规划和行动能力。在v0.1中，每个模型被赋予控制一个6轴机械臂（5个关节和一个
DeepLearning.AIAI 评分4242 FLUX 3 Action登顶RoboLab-120
FLUX 3 Action，一款视频优先的世界动作模型，在 RoboLab-120 的模拟中排名第一，成功率为 42.9%。它在超过 95% 的视频上进行了预训练。它通过约 200 个演示适应了新机械臂。它尚未在真实机器人肢体上进行测试
The DecoderAI 评分5858 Artemis Security 发布 Orion-1 网络安全模型
美国初创公司 Artemis Security 推出 Orion-1，这是一款专为企业网络攻击调查与响应设计的大语言模型。该模型通过处理日志数据关联攻击信号，并在公司自建的 Decision-Grade Readiness (DGR) 基准测试中得分超过 Claude Opus 5.5 和 GPT-6 Sol。
Artificial AnalysisAI 评分3838 DeepSeek V4.1 Flash 基准测试结果
我们已将 DeepSeek V4.1 Flash 添加到 AA-AgentPerf，并提供了 NVIDIA 和 AMD 硬件的测试结果。在每用户 100 tokens/s 的条件下，NVIDIA GB300 以高达 261M tokens/s per MW 的吞吐量位居第一。AA-AgentPerf 是我们的智能体推理性能基准测试。它重放真实的智能
Artificial AnalysisAI 评分3838 Perplexity Decider v1.1成本最低
在 Artificial Analysis Decision Index v1.0 的四个基准测试中，Perplexity 的 Decider v1.1 27B 每百万任务成本最低，为 $17。它与 Microsoft-Decision-1 ($31) 和 Jev 1.13 ($42) 一起位于能力与成本的帕累托前沿。Celeris-1 Decision 具有
Artificial AnalysisAI 评分4242 Artificial Analysis 发布决策指数
推出 Artificial Analysis Decision Index，对分类、工具调用、知识和推理的决策模型进行基准测试。Jev 在决策模型中领先；Claude Haiku 5.5 等语言模型仍提供更高的准确率，但成本要高得多且
Artificial AnalysisAI 评分1212 Artificial Analysis发布Gemini 4 Argon基准
Artificial Analysis上的完整基准测试集：https://artificialanalysis.ai/models/gemini-4-argon…
Artificial Analysis精选AI 评分8080 Gemini 4 Argon 正式发布 GA
Gemini 4 Argon 现已正式进入 GA（一般可用性）阶段。根据 Artificial Analysis Intelligence Index，Argon 的排名与 GPT-6 Astra 持平，但每任务成本仅为后者的 60%。这是 Google 重新向公众发布前沿模型，且在 11 月 30 日前提供折扣价格。
推荐理由：原文提供了 Gemini 4 Argon 与 GPT-6 Astra 在智能指数和任务成本上的具体对比数据，有助于评估其性价比。
Artificial AnalysisAI 评分2525 Drama 3 Preview语音鲁棒性领先
Pronunciation Robustness（发音鲁棒性）衡量文本转语音模型在四个类别中正确发音挑战性文本的能力，由人工评审员根据预先商定的可接受发音对每个音频片段进行评判。Drama 3 Preview 以 93.2% 的得分位居整体榜首。➤ 独立术语：Drama 3
Artificial AnalysisAI 评分3737 Fish Audio Drama 3 Preview登顶TTS榜
Fish Audio的Drama 3 Preview是Artificial Analysis文本转语音排行榜上新的第一开源权重模型。该模型在我们的发音鲁棒性排行榜中也领先所有模型，超过Eleven v4和Eleven v4 Turbo
Artificial AnalysisAI 评分1515 GLM-5.3 各提供商任务成本
在此探索所有 GLM-5.3 (max) 提供商的任务成本：
Artificial AnalysisAI 评分5252 Artificial Analysis 上线按服务商统计的缓存命中率与任务成本数据
Artificial Analysis 平台现已上线按服务商维度统计的缓存命中率和单任务成本（Cost per Task）数据。以 GLM-5.3 (max) 为例，不同服务商间的单任务成本差异约为 9 倍，这主要由缓存命中率和 token 定价共同决定。由于 Agentic 工作负载每轮需重发完整对话历史，该指标对评估实际运行成本具有重要参考价值。
DeepLearning.AIAI 评分5555 Gemini 4 Argon 在 AA-Omniscience 幻觉率测试中优于 GPT-6 Astra
Gemini 4 Argon 在 AA-Omniscience 基准测试中的幻觉率为 15%，显著低于 GPT-6 Astra 的 51%。该模型目前在 Vals Index 上排名第一，反映了其在法律及其他知识工作中的高性能表现。现阶段仅 Google Fairwind 项目中的网络安全防御人员可访问相关资源。
Ethan MollickAI 评分1212 勿过度依赖Artificial Analysis指数
人们过于严肃地对待 Artificial Analysis Index 及其各项评分。
IT之家AI 评分4545 4 GPU Tesla V100 集群 AI 推理跑赢 2 台 DGX Spark
YouTube 频道 Jun Yamog 测试显示，4 张英伟达 Tesla V100 组成的 NVLink 集群在 Qwen3.8-Flash-Next 基准中，长提示处理速度较 2 台 DGX Spark 快 40%，较 M5 Ultra 快 230%。
Artificial AnalysisAI 评分3535 Muse Wonder Full 六项评测进前三
Muse Wonder Full (max) 在 Artificial Analysis Intelligence Index v4.3 的十项评估中，有六项进入前三名：➤ CritPt (33%) 和 GDP.pdf (33%) 排名第 1 ➤ GDPval-AA v2.1 (1857 Elo) 排名第 2 ➤ AA-Briefcase (1729 Elo)、AutomationBench-AA (71%) 和 SciCode (63%) 排名第 3