跳到正文
10月17日周六
  1. Artificial Analysis40

    d1-ultra非幻觉率达85%

    d1-ultra 在 AA-Omniscience-Decision 上实现了最高的非幻觉率,达到 85%,是 Microsoft-Decision-1 的 40% 第二高率的倍以上。与 d1 相比,更多的弃权导致准确率降至 32%,而 d1 为 41%。

  2. Artificial Analysis60

    Reflection 发布开源模型 Reflection-3.7-70B

    Artificial Analysis 报道 Reflection 发布了其首个开源模型 Reflection-3.7-70B。该模型拥有 50B 总参数和 70B 激活参数,在 Artificial Analysis Intelligence Index 中得分为 42。

    推荐理由:原文给出了 Reflection 新模型的基准分数和参数规模,读者可据此快速评估其在开源阵营中的性能定位。

10月16日周五
  1. Artificial Analysis29

    Muse Spark Open 幻觉率最低

    Muse Spark Open (xhigh) 在 AA-Omniscience (25) 上领跑所有开源权重模型,其驱动力在于它是得分 30 分以上的开源权重模型中幻觉率最低的(24%)

  2. Artificial Analysis53

    Artificial Analysis 发布 NVIDIA Vera Rubin NVL72 初步性能结果

    Artificial Analysis 在 AA-AgentPerf 上发布了 NVIDIA Vera Rubin NVL72 的初步测试结果。数据显示,该硬件在 DeepSeek V4 Pro 上的每兆瓦总吞吐量约为前代 GB300 NVL72 的 ~5.7x,在 DeepSeek V4.1 Flash 上约为 ~5.4x,在 GLM-5.2 和 Kimi K3 上分别约为 ~3.0x 和 ~2.8x。Vera Rubin 是 NVIDIA 的下一代架构产品。

  3. Artificial Analysis62

    Artificial Analysis 发布模型评测分析

    Artificial Analysis 发布了针对 AI 模型的评测分析内容。该报告基于独立测试数据,展示了相关模型的性能表现与对比结果。

    推荐理由:第三方机构对模型性能进行独立实测,提供了可参考的量化数据与对比视角。

  4. Ethan Mollick40

    智能模型终结ARC-AGI等基准

    框架 + 智能模型 = 最后几个著名硬基准的终结。模型现在可以工作极长时间(再见,METR Long Tasks),可以输出数学正确的专业文档(再见,GDPval),并且可以解决复杂的新颖谜题(再见,ARC-AGI-3)。

  5. Artificial Analysis42

    Nemotron 3.5 Super VL登顶美开源

    Nemotron 3.5 Super VL 是美国得分最高的开放权重模型,在智能指数中得分为 26。它略胜 Thinking Machines 的 Inkling Small(26),并超越了 NVIDIA 之前的旗舰产品 Nemotron 3 Ultra(23)以及 Meta 的 Muse Glimmer(17)。尽管取得了这一进步,美国

  6. Artificial Analysis68

    Artificial Analysis:Nvidia Nemotron 3.5 Super VL 成为美国领先开源权重模型

    Nvidia Nemotron 3.5 Super VL 目前在 Artificial Analysis Intelligence Index 上得分为 26,成为领先的美国开源权重模型。该模型实现了前代 Nemotron 3 Super(得分 13)两倍智能水平,且每任务输出 token 减少约 60%。

    推荐理由:原文提供了Nemotron 3.5 Super VL在智能指数上的具体得分及与上一代模型的效率对比数据,有助于评估其性能提升幅度。

10月15日周四
  1. Google Developers Blog62

    Google 开发者博客分享 AI Agent 评估实战指南

    Google 开发者博客发布文章,介绍如何超越主观“感觉检查”,为 AI Agent 建立可重复的评估体系。文章提出了基于关键用户旅程(CUJ)定义成功标准、使用模拟用户生成测试场景、以及结合人工审查与自动化工具的分阶段实施策略。

    推荐理由:原文提供了从人工审查到自动化 CI/CD 的评估落地路径,并给出了规避常见陷阱的具体方法。

  2. Artificial Analysis38

    AI模型离线构建埃菲尔铁塔

    我们要求AI模型在离线状态下以3D形式构建埃菲尔铁塔。其中两个模型凭记忆按顺序添加了全部72位科学家的名字。这出乎我们的意料。每个AA-3D模型都收到了约200字的相同简报,内容涉及塔的形状、格构、平台和照明。它从未

  3. LangChain Blog45

    LangChain 解答 Agent Evals 常见疑问

    LangChain 团队基于 LangSmith 平台解析智能体评估(Agent Evals)的核心问题,涵盖离线与在线评估的区别及四种主要评估器类型。文章建议从分析 Trace 入手构建小规模数据集,通过持续添加失败案例形成改进闭环,并指导用户利用代码检查或 LLM 裁判监控生产环境质量。

  4. Artificial Analysis38

    MI355X在DeepSeek V4 Pro性能领先

    MI355X 在 DeepSeek V4 Pro 0813 上表现最强。在每用户 35 至 75 tok/s 区间,其每兆瓦吞吐量比 B200 高约 15% 到 40%,峰值达每兆瓦 94M tokens/s(对应每用户 33 tok/s),此水平 B200 需降至每用户 13 tok/s 才能达到。当每用户速度超过约 80 tok/s 时,B200

  5. Artificial Analysis28

    AA-AgentPerf新增AMD MI355X测试

    除了新的 DeepSeek V4.1 Flash 结果外,我们还在 AA-AgentPerf 中为 Kimi K3、GLM-5.2/5.3 和 DeepSeek V4 Pro 添加了 AMD 的 MI355X - 将其与我们在编码智能体工作负载上最新的 NVIDIA 系统结果进行比较。AA-AgentPerf 是我们的智能体推理性能

  6. Artificial Analysis37

    Grok Voice 3.0语音榜第三

    在我们的语音智能体竞技场中,人们进行盲测实时语音对话并选择他们偏好的模型,Grok Voice 3.0以1070的Elo分数位列第3,落后于Gemini 3.1 Flash Live Minimal(1100)和Gemini 3.8 Live(1088),领先于GPT-Live-1 (Sol, low)(1057)。它还

  7. Artificial Analysis45

    AA-Robotics v0.1发布

    欢迎来到具身智能时代。我们推出AA-Robotics v0.1,这是一个研究预览版,用于衡量前沿语言模型在物理世界中的理解、规划和行动能力。在v0.1中,每个模型被赋予控制一个6轴机械臂(5个关节和一个

  8. DeepLearning.AI42

    FLUX 3 Action登顶RoboLab-120

    FLUX 3 Action,一款视频优先的世界动作模型,在 RoboLab-120 的模拟中排名第一,成功率为 42.9%。它在超过 95% 的视频上进行了预训练。它通过约 200 个演示适应了新机械臂。它尚未在真实机器人肢体上进行测试

10月14日周三
  1. Artificial Analysis38

    DeepSeek V4.1 Flash 基准测试结果

    我们已将 DeepSeek V4.1 Flash 添加到 AA-AgentPerf,并提供了 NVIDIA 和 AMD 硬件的测试结果。在每用户 100 tokens/s 的条件下,NVIDIA GB300 以高达 261M tokens/s per MW 的吞吐量位居第一。AA-AgentPerf 是我们的智能体推理性能基准测试。它重放真实的智能

  2. Artificial Analysis38

    Perplexity Decider v1.1成本最低

    在 Artificial Analysis Decision Index v1.0 的四个基准测试中,Perplexity 的 Decider v1.1 27B 每百万任务成本最低,为 $17。它与 Microsoft-Decision-1 ($31) 和 Jev 1.13 ($42) 一起位于能力与成本的帕累托前沿。Celeris-1 Decision 具有

  3. Artificial Analysis42

    Artificial Analysis 发布决策指数

    推出 Artificial Analysis Decision Index,对分类、工具调用、知识和推理的决策模型进行基准测试。Jev 在决策模型中领先;Claude Haiku 5.5 等语言模型仍提供更高的准确率,但成本要高得多且

  4. Artificial Analysis80

    Gemini 4 Argon 正式发布 GA

    Gemini 4 Argon 现已正式进入 GA(一般可用性)阶段。根据 Artificial Analysis Intelligence Index,Argon 的排名与 GPT-6 Astra 持平,但每任务成本仅为后者的 60%。这是 Google 重新向公众发布前沿模型,且在 11 月 30 日前提供折扣价格。

    推荐理由:原文提供了 Gemini 4 Argon 与 GPT-6 Astra 在智能指数和任务成本上的具体对比数据,有助于评估其性价比。

  5. Artificial Analysis25

    Drama 3 Preview语音鲁棒性领先

    Pronunciation Robustness(发音鲁棒性)衡量文本转语音模型在四个类别中正确发音挑战性文本的能力,由人工评审员根据预先商定的可接受发音对每个音频片段进行评判。Drama 3 Preview 以 93.2% 的得分位居整体榜首。➤ 独立术语:Drama 3

  6. Artificial Analysis37

    Fish Audio Drama 3 Preview登顶TTS榜

    Fish Audio的Drama 3 Preview是Artificial Analysis文本转语音排行榜上新的第一开源权重模型。该模型在我们的发音鲁棒性排行榜中也领先所有模型,超过Eleven v4和Eleven v4 Turbo

  7. Artificial Analysis52

    Artificial Analysis 上线按服务商统计的缓存命中率与任务成本数据

    Artificial Analysis 平台现已上线按服务商维度统计的缓存命中率和单任务成本(Cost per Task)数据。以 GLM-5.3 (max) 为例,不同服务商间的单任务成本差异约为 9 倍,这主要由缓存命中率和 token 定价共同决定。由于 Agentic 工作负载每轮需重发完整对话历史,该指标对评估实际运行成本具有重要参考价值。

10月13日周二
  1. Artificial Analysis35

    Muse Wonder Full 六项评测进前三

    Muse Wonder Full (max) 在 Artificial Analysis Intelligence Index v4.3 的十项评估中,有六项进入前三名:➤ CritPt (33%) 和 GDP.pdf (33%) 排名第 1 ➤ GDPval-AA v2.1 (1857 Elo) 排名第 2 ➤ AA-Briefcase (1729 Elo)、AutomationBench-AA (71%) 和 SciCode (63%) 排名第 3

  2. Artificial Analysis42

    FrontierCode任务成本差异显著

    在 FrontierCode 上,单任务成本跨越两个数量级,从 GPT-6 Luna (max) 的 $0.09 到 Claude Fable 5.1 (max with fallback) 的 $12.00。四个模型位于得分与单任务成本的帕累托前沿:GPT-6 Luna (max) 得分为 42%,每任务成本 $0.09;MiMo-V2.6-Pro 得分为 45%

  3. Artificial Analysis35

    AA-3D 评测机制:构建检查投票排名

    AA-3D 工作原理:构建、检查、投票、排名 ➤ 每个模型作为离线沙盒中的智能体,将书面简报转化为网页 ➤ 无头浏览器和人工检查每个场景 ➤ 评审员比较来自同一简报的盲测配对 ➤ Bradley-Terry 拟合将投票转化为

  4. DeepLearning.AI82

    DeepLearning.AI 报道某新模型发布及性能表现

    DeepLearning.AI 转发消息指出某新模型已发布,该模型在多项基准测试中展现了显著的推理能力提升。具体版本号及详细评测数据未在短文中列出。

    推荐理由:原文提及了特定模型版本的发布及其在推理能力上的表现,读者可据此了解最新模型迭代的关键特性。

10月11日周日