d1-ultra非幻觉率达85%
d1-ultra 在 AA-Omniscience-Decision 上实现了最高的非幻觉率,达到 85%,是 Microsoft-Decision-1 的 40% 第二高率的倍以上。与 d1 相比,更多的弃权导致准确率降至 32%,而 d1 为 41%。
d1-ultra 在 AA-Omniscience-Decision 上实现了最高的非幻觉率,达到 85%,是 Microsoft-Decision-1 的 40% 第二高率的倍以上。与 d1 相比,更多的弃权导致准确率降至 32%,而 d1 为 41%。
Liquid AI 发布了 d1-ultra,在 Artificial Analysis Decision Index v1.0 中占据第 1 位,得益于幻觉率的降低。d1-ultra 是 @liquidai 推出的新决策模型,继本月早些时候发布 d1 之后推出。其定价为 $0.042
Beam 在 Artificial Analysis Cyber Index 上得分 34%,是我们测试过的领先的美国开源权重模型。得益于其 token 效率,它也与 GPT-6 Sol (Daybreak Blue) 一起位于 Cyber Index vs. Output Tokens per task frontier 上
Artificial Analysis 报道 Reflection 发布了其首个开源模型 Reflection-3.7-70B。该模型拥有 50B 总参数和 70B 激活参数,在 Artificial Analysis Intelligence Index 中得分为 42。
推荐理由:原文给出了 Reflection 新模型的基准分数和参数规模,读者可据此快速评估其在开源阵营中的性能定位。
通过最新更新,在 Optima 中创建和运行自定义基准测试变得比以往任何时候都更容易。这允许您针对特定用例评估模型。使用 Optima 您可以:➤ 3 步从想法到个性化基准测试 ➤ 比较模型智能
Muse Spark Open (xhigh) 在 AA-Omniscience (25) 上领跑所有开源权重模型,其驱动力在于它是得分 30 分以上的开源权重模型中幻觉率最低的(24%)
在 DeepSeek V4.1 Flash 上,Vera Rubin 在每用户约 230 至 350 tok/s 区间内,每兆瓦吞吐量约为 GB300 的 3.4 至 3.6 倍,并在单台 4-GPU 服务器上达到每用户 906 tok/s,这是我们在排行榜上任何模型的最快结果
Artificial Analysis 在 AA-AgentPerf 上发布了 NVIDIA Vera Rubin NVL72 的初步测试结果。数据显示,该硬件在 DeepSeek V4 Pro 上的每兆瓦总吞吐量约为前代 GB300 NVL72 的 ~5.7x,在 DeepSeek V4.1 Flash 上约为 ~5.4x,在 GLM-5.2 和 Kimi K3 上分别约为 ~3.0x 和 ~2.8x。Vera Rubin 是 NVIDIA 的下一代架构产品。
Artificial Analysis 发布了针对 AI 模型的评测分析内容。该报告基于独立测试数据,展示了相关模型的性能表现与对比结果。
推荐理由:第三方机构对模型性能进行独立实测,提供了可参考的量化数据与对比视角。
框架 + 智能模型 = 最后几个著名硬基准的终结。模型现在可以工作极长时间(再见,METR Long Tasks),可以输出数学正确的专业文档(再见,GDPval),并且可以解决复杂的新颖谜题(再见,ARC-AGI-3)。
Nemotron 3.5 Super VL 是美国得分最高的开放权重模型,在智能指数中得分为 26。它略胜 Thinking Machines 的 Inkling Small(26),并超越了 NVIDIA 之前的旗舰产品 Nemotron 3 Ultra(23)以及 Meta 的 Muse Glimmer(17)。尽管取得了这一进步,美国
Nvidia Nemotron 3.5 Super VL 目前在 Artificial Analysis Intelligence Index 上得分为 26,成为领先的美国开源权重模型。该模型实现了前代 Nemotron 3 Super(得分 13)两倍智能水平,且每任务输出 token 减少约 60%。
推荐理由:原文提供了Nemotron 3.5 Super VL在智能指数上的具体得分及与上一代模型的效率对比数据,有助于评估其性能提升幅度。
Google 开发者博客发布文章,介绍如何超越主观“感觉检查”,为 AI Agent 建立可重复的评估体系。文章提出了基于关键用户旅程(CUJ)定义成功标准、使用模拟用户生成测试场景、以及结合人工审查与自动化工具的分阶段实施策略。
推荐理由:原文提供了从人工审查到自动化 CI/CD 的评估落地路径,并给出了规避常见陷阱的具体方法。
我们要求AI模型在离线状态下以3D形式构建埃菲尔铁塔。其中两个模型凭记忆按顺序添加了全部72位科学家的名字。这出乎我们的意料。每个AA-3D模型都收到了约200字的相同简报,内容涉及塔的形状、格构、平台和照明。它从未
LangChain 团队基于 LangSmith 平台解析智能体评估(Agent Evals)的核心问题,涵盖离线与在线评估的区别及四种主要评估器类型。文章建议从分析 Trace 入手构建小规模数据集,通过持续添加失败案例形成改进闭环,并指导用户利用代码检查或 LLM 裁判监控生产环境质量。
MI355X 在 DeepSeek V4 Pro 0813 上表现最强。在每用户 35 至 75 tok/s 区间,其每兆瓦吞吐量比 B200 高约 15% 到 40%,峰值达每兆瓦 94M tokens/s(对应每用户 33 tok/s),此水平 B200 需降至每用户 13 tok/s 才能达到。当每用户速度超过约 80 tok/s 时,B200
除了新的 DeepSeek V4.1 Flash 结果外,我们还在 AA-AgentPerf 中为 Kimi K3、GLM-5.2/5.3 和 DeepSeek V4 Pro 添加了 AMD 的 MI355X - 将其与我们在编码智能体工作负载上最新的 NVIDIA 系统结果进行比较。AA-AgentPerf 是我们的智能体推理性能
在我们的语音智能体竞技场中,人们进行盲测实时语音对话并选择他们偏好的模型,Grok Voice 3.0以1070的Elo分数位列第3,落后于Gemini 3.1 Flash Live Minimal(1100)和Gemini 3.8 Live(1088),领先于GPT-Live-1 (Sol, low)(1057)。它还
Artificial Analysis评测显示SpaceXAI的Grok Voice 3.0以86.9分位居Speech to Speech Index榜首。该模型作为Grok Voice 2.0的继任者,在保持延迟竞争力的同时取得了新的领先成绩。
欢迎来到具身智能时代。我们推出AA-Robotics v0.1,这是一个研究预览版,用于衡量前沿语言模型在物理世界中的理解、规划和行动能力。在v0.1中,每个模型被赋予控制一个6轴机械臂(5个关节和一个
FLUX 3 Action,一款视频优先的世界动作模型,在 RoboLab-120 的模拟中排名第一,成功率为 42.9%。它在超过 95% 的视频上进行了预训练。它通过约 200 个演示适应了新机械臂。它尚未在真实机器人肢体上进行测试
我们已将 DeepSeek V4.1 Flash 添加到 AA-AgentPerf,并提供了 NVIDIA 和 AMD 硬件的测试结果。在每用户 100 tokens/s 的条件下,NVIDIA GB300 以高达 261M tokens/s per MW 的吞吐量位居第一。AA-AgentPerf 是我们的智能体推理性能基准测试。它重放真实的智能
在 Artificial Analysis Decision Index v1.0 的四个基准测试中,Perplexity 的 Decider v1.1 27B 每百万任务成本最低,为 $17。它与 Microsoft-Decision-1 ($31) 和 Jev 1.13 ($42) 一起位于能力与成本的帕累托前沿。Celeris-1 Decision 具有
推出 Artificial Analysis Decision Index,对分类、工具调用、知识和推理的决策模型进行基准测试。Jev 在决策模型中领先;Claude Haiku 5.5 等语言模型仍提供更高的准确率,但成本要高得多且
Artificial Analysis上的完整基准测试集:https://artificialanalysis.ai/models/gemini-4-argon…
Gemini 4 Argon 现已正式进入 GA(一般可用性)阶段。根据 Artificial Analysis Intelligence Index,Argon 的排名与 GPT-6 Astra 持平,但每任务成本仅为后者的 60%。这是 Google 重新向公众发布前沿模型,且在 11 月 30 日前提供折扣价格。
推荐理由:原文提供了 Gemini 4 Argon 与 GPT-6 Astra 在智能指数和任务成本上的具体对比数据,有助于评估其性价比。
Pronunciation Robustness(发音鲁棒性)衡量文本转语音模型在四个类别中正确发音挑战性文本的能力,由人工评审员根据预先商定的可接受发音对每个音频片段进行评判。Drama 3 Preview 以 93.2% 的得分位居整体榜首。➤ 独立术语:Drama 3
Fish Audio的Drama 3 Preview是Artificial Analysis文本转语音排行榜上新的第一开源权重模型。该模型在我们的发音鲁棒性排行榜中也领先所有模型,超过Eleven v4和Eleven v4 Turbo
在此探索所有 GLM-5.3 (max) 提供商的任务成本:
Artificial Analysis 平台现已上线按服务商维度统计的缓存命中率和单任务成本(Cost per Task)数据。以 GLM-5.3 (max) 为例,不同服务商间的单任务成本差异约为 9 倍,这主要由缓存命中率和 token 定价共同决定。由于 Agentic 工作负载每轮需重发完整对话历史,该指标对评估实际运行成本具有重要参考价值。
Gemini 4 Argon 在 AA-Omniscience 基准测试中的幻觉率为 15%,显著低于 GPT-6 Astra 的 51%。该模型目前在 Vals Index 上排名第一,反映了其在法律及其他知识工作中的高性能表现。现阶段仅 Google Fairwind 项目中的网络安全防御人员可访问相关资源。
人们过于严肃地对待 Artificial Analysis Index 及其各项评分。
Muse Wonder Full (max) 在 Artificial Analysis Intelligence Index v4.3 的十项评估中,有六项进入前三名:➤ CritPt (33%) 和 GDP.pdf (33%) 排名第 1 ➤ GDPval-AA v2.1 (1857 Elo) 排名第 2 ➤ AA-Briefcase (1729 Elo)、AutomationBench-AA (71%) 和 SciCode (63%) 排名第 3
Artificial Analysis 发布了针对最新 AI 模型的基准测试结果。该报告由第三方独立机构提供,旨在通过标准化评测展示模型性能表现。
推荐理由:第三方评测机构发布了新模型的基准测试结果,提供了独立于厂商的性能数据参考。
在 FrontierCode 上,单任务成本跨越两个数量级,从 GPT-6 Luna (max) 的 $0.09 到 Claude Fable 5.1 (max with fallback) 的 $12.00。四个模型位于得分与单任务成本的帕累托前沿:GPT-6 Luna (max) 得分为 42%,每任务成本 $0.09;MiMo-V2.6-Pro 得分为 45%
我们推出了 FrontierCode 1.1 排行榜,这是 Cognition 的一项私有评估,测试模型完成编码任务的能力,其结果需能被真实仓库维护者实际合并。@cognition 于 2026 年 6 月宣布推出 FrontierCode 并进行了更新
AA-3D 工作原理:构建、检查、投票、排名 ➤ 每个模型作为离线沙盒中的智能体,将书面简报转化为网页 ➤ 无头浏览器和人工检查每个场景 ➤ 评审员比较来自同一简报的盲测配对 ➤ Bradley-Terry 拟合将投票转化为
我们已测量智能。现在该看看它了。我们推出 AA-3D,这是衡量 AI 模型构建交互式 3D 场景能力的新基准。每个模型作为代理在离线沙盒中运行,将书面简报转化为 three.js 网页。一个人类评审小组
DeepLearning.AI 转发消息指出某新模型已发布,该模型在多项基准测试中展现了显著的推理能力提升。具体版本号及详细评测数据未在短文中列出。
推荐理由:原文提及了特定模型版本的发布及其在推理能力上的表现,读者可据此了解最新模型迭代的关键特性。
Artificial Analysis 发布了针对主流图像生成模型的能力评测结果。该评测基于独立测试数据,对比了不同模型在生成质量、一致性等维度的表现,帮助用户直观了解各模型的实际效果差异。