Artificial Analysis 发布新模型基准测试报告
Artificial Analysis 发布了针对最新 AI 模型的基准测试结果。该报告由第三方独立机构提供,旨在通过标准化评测展示模型性能表现。
推荐理由:第三方评测机构发布了新模型的基准测试结果,提供了独立于厂商的性能数据参考。
Artificial Analysis 发布了针对最新 AI 模型的基准测试结果。该报告由第三方独立机构提供,旨在通过标准化评测展示模型性能表现。
推荐理由:第三方评测机构发布了新模型的基准测试结果,提供了独立于厂商的性能数据参考。
在 FrontierCode 上,单任务成本跨越两个数量级,从 GPT-6 Luna (max) 的 $0.09 到 Claude Fable 5.1 (max with fallback) 的 $12.00。四个模型位于得分与单任务成本的帕累托前沿:GPT-6 Luna (max) 得分为 42%,每任务成本 $0.09;MiMo-V2.6-Pro 得分为 45%
我们推出了 FrontierCode 1.1 排行榜,这是 Cognition 的一项私有评估,测试模型完成编码任务的能力,其结果需能被真实仓库维护者实际合并。@cognition 于 2026 年 6 月宣布推出 FrontierCode 并进行了更新
AA-3D 工作原理:构建、检查、投票、排名 ➤ 每个模型作为离线沙盒中的智能体,将书面简报转化为网页 ➤ 无头浏览器和人工检查每个场景 ➤ 评审员比较来自同一简报的盲测配对 ➤ Bradley-Terry 拟合将投票转化为
我们已测量智能。现在该看看它了。我们推出 AA-3D,这是衡量 AI 模型构建交互式 3D 场景能力的新基准。每个模型作为代理在离线沙盒中运行,将书面简报转化为 three.js 网页。一个人类评审小组
DeepLearning.AI 转发消息指出某新模型已发布,该模型在多项基准测试中展现了显著的推理能力提升。具体版本号及详细评测数据未在短文中列出。
推荐理由:原文提及了特定模型版本的发布及其在推理能力上的表现,读者可据此了解最新模型迭代的关键特性。
Arena 平台发布 2026 年第 41 周 AI 大模型排行榜,Anthropic Claude Opus 5.5 Max 首次入榜即以 15.53% 净提升度夺得智能体榜第一。综合榜方面,Gemini 4 Argon High 以 1525 ELO 分蝉联榜首,Kimi K3 Max、Qwen3.8 Max 等国产模型排名稳定在中上游梯队。
华为云与华东师范大学联合研发的昇腾原生时序预训练模型“七曜”,成功登顶国际权威评测榜单 TIME-leaderboard 和 GIFT-Eval(Pretrained 类目)。该模型基于华为昇腾生态深度优化,具备高精度、高鲁棒性,支持零样本预测及低成本二次微调。这一突破标志着国内时序基础模型正式跻身全球第一梯队,可适配气象、能源、金融等核心场景。
Artificial Analysis 发布了针对主流图像生成模型的能力评测结果。该评测基于独立测试数据,对比了不同模型在生成质量、一致性等维度的表现,帮助用户直观了解各模型的实际效果差异。
HeyGen Voice 在 Artificial Analysis Controlled Voice TTS Arena Leaderboard 上占据第 #1 位置,领先于阿里巴巴的 Qwen-Audio-3.1-TTS-Plus 和 ElevenLabs 的 Eleven v4 Turbo。HeyGen Voice 是 @HeyGen 推出的首个 Text to Speech 模型,在我们的 Controlled Voice Arena 中接受评估,其中
如今的前沿语言模型能否在零样本、无指导的情况下控制真实的机械臂?AA-Robotics v0.1 即将推出。
HiDream-O1-Video-1.0 在 Artificial Analysis 带音频图生视频排行榜上 debut 排名第 6。HiDream-O1-Video-1.0 是 HiDream 推出的新视频模型,该团队自称“专注于生成式 AI 和原生全模态世界模型”。HiDream 将其定位为
不仅Astra击败了Montezuma's Revenge,Opus 5也做到了。但解决这一AGI赌约的标准之一是AI要赢得一个已停发的奖项,该奖项类似于弱图灵测试。因此Metaculus决定重制该测试以确认标准是否达成。真棒!
AI模型评测平台Arena宣布完成2亿美元B轮融资,估值达到31亿美元。本轮融资由光速创投和Khosla Ventures共同领投,a16z等机构参与投资。自今年1月A轮投后估值17亿美元以来,Arena在约10个月内估值接近翻倍,其年化营收也从3,000万美元增长至1亿美元。
Grok Imagine Video 1.5 Lite 在 AA-Video-T2V v2.0 上排名超过 Google 的 Veo 3.1,价格约为其三分之一。在带音频的 1080p 分辨率下,Grok Imagine Video 1.5 Lite 每秒成本为 $0.14,而 Veo 3.1 为每秒 $0.40。它在 AA-Video-T2V v2.0 上排名第 17,比 Veo 高两位
Grok Imagine Video 1.5 Lite 在两个 AA-Video-T2V v2.0 排行榜上均位列第 17,并在质量与速度的帕累托前沿占据一席之地。Grok Imagine Video 1.5 Lite 是 SpaceXAI 的 Grok Imagine 视频系列中新的低成本模型。它生成文本到视频的片段
GPT-6 Sol (Daybreak Blue, max) 已作为受信任访问模型加入 Artificial Analysis Cyber Index,并在该指数中位列第一。与公开可用的 GPT-6 Sol 相比,Daybreak Blue 模型在 CyberGym-E2E 基准测试上取得了最大提升
在 Artificial Analysis Cyber Index 中引入 trusted-access models;GPT-6 Sol (Daybreak Blue) 目前领跑 Cyber Index。Artificial Analysis Cyber Index Alliance 汇聚行业合作伙伴,评估 AI 模型在企业网络防御任务中的表现。
AI 模型排行榜平台 Arena 宣布完成由 Lightspeed Venture Partners 和 Khosla Ventures 领投的 2 亿美元 B 轮融资,估值达到 31 亿美元。
在 Harvey 开展的人类偏好研究中,人类专家将幻觉列为在两个其他方面都很全面的回答中做出选择的主要决定因素。我们新的幻觉评分流程聚焦于那些可能对现实产生实质性影响的错误
今日我们宣布与 Harvey 合作推出 Harvey LAB-AA v1.1。这更新了法律智能体基准(LAB)的评分方法,增加了幻觉检查,并要求正确回答不得包含实质性错误陈述。LAB-AA v1.1 的新核心指标为
宣布 Artificial Analysis Intelligence Index v5 将于 10 月下旬推出。Intelligence Index v5 将在评估 AI 前沿能力方面实现重大飞跃。变更包括新增 Terminal-Bench Science 和一个使用私有数据集的新编码基准。敬请期待
少数尝试衡量类似指标的基准(METR Long Tasks、GDPval)都在今年早些时候达到饱和,因为 AI 开始以高质量水平完成数天的工作。
Artificial Analysis 发布了针对 AI 模型的性能评测与分析内容。该材料展示了相关模型在基准测试中的具体表现数据,为评估模型能力提供了参考依据。
推荐理由:第三方评测机构提供了模型在特定基准下的表现数据,读者可据此对比不同模型的性价比与能力差异。
Google 的 Nano Banana 2.1 在 AA-Image-T2I v2.0 和 AA-Image-Editing v2.0 上均排名第 4,价格仅为 Nano Banana 2 的一半。Nano Banana 2.1 是 Google 于 10 月 6 日发布的新图像模型。它基于 Gemini 3.6 Flash,并取代了
错过几天 AI 新闻?以下是本周 Data Points 的内容。Google 重返前沿。Gemini 4 Argon 在 Artificial Analysis Intelligence Index 上与 GPT-6 Astra 并列 53 分,每任务成本约为其 60%。欧洲缩小差距。Mistral Large 4,一个
Artificial Analysis 视频排行榜现已标记衍生模型,并允许用户将其隐藏。越来越多的视频模型是基于我们排行榜上的其他模型进行后训练的。在 AA-Video-T2V v2.0 榜单的前五名中,Utopai X 和 MiniMax H3 Max 均基于 MiniMax H3 构建。
Vidu Q4 Preview 在 Artificial Analysis AA-Video-I2V v1.0 排行榜上以第 3 名首次亮相,较 Vidu Q3 Pro 的第 19 名大幅跃升。Vidu Q4 Preview 是 Vidu 的新视频模型,今日发布,早于完整的 Q4 版本。它能生成时长为 3 到 16 秒、最高支持 4K 分辨率且包含原生音频的片段,并且
Vidu Q4 预览版在保持与 Vidu Q3 Pro 相同价格的同时,提供了更好的质量
我们即将推出 AA-Music-Vocal v1.1 和 AA-Music-Instrumental v1.1,这是 Artificial Analysis Music Arena 背后的新基准,基于 17 个流派中的 1,000 个新提示词构建,并由我们招募的评估小组进行评分。在过去 3 个月中,像 Suno v6 这样的旗舰模型发布
Xiaomi MiMo-Code 采用 Checklist Rewarding 技术,将每个 checklist 项的分数乘以强化学习奖励,以同时优化功能正确性和代码质量。该方法使模型在 Artificial Analysis Coding Index 上达到 40.8 分,并在 OpenHands SWE-bench Verified 上获得 65.2% 的成绩,领先于其他开源权重模型。
这看起来很棒!迫不及待想等 @reflection_ai 发布 checkpoint!但我脑海中闪过的第二件事是,批准这张图表的人,你们怎么能接受在 SWE-bench Verified 这类基准测试中,将开源模型标记为 NR?
GitHub 推出 ReviewBench,这是一个基于 1.039 亿个真实 Pull Request 分布构建的 AI 代码审查离线基准。该基准包含覆盖 19 种语言的 219 个代表性 PR,采用多源黄金集并由高级工程师以 96.6% 的一致性进行独立验证。ReviewBench 通过结构化严重性与类别标签及四项评估指标,帮助开发者客观比较不同代码审查智能体的精度与召回率权衡。
DeepLearning.AI 引用 Anthropic 数据指出,开源模型 GLM-5.3 在 ExploitBench 漏洞利用任务中解决率为 12%,接近 Claude Mythos 的 14%。此外,仅花费 $20.40 token 成本即发现了近期 Google Chrome 的一个安全漏洞。
推荐理由:原文引用 Anthropic 数据对比开源模型与 Claude Mythos 在 ExploitBench 上的表现,并提及低成本发现 Chrome 漏洞的案例。
很酷的评测。只需问大语言模型“陆地还是海洋?”并给它一个经纬度坐标文本。询问 16,200 次,绘制成图像。模型知道答案。这源于对互联网数据的压缩。
OpenRouter 发布新的 Model Router Benchmarks 页面,用于比较各类模型路由器在质量、速度和成本上的表现。该页面引入了综合评分的 Router Index(默认权重为质量 60%、时间 20%、成本 20%),并详细区分了提供商路由、模型选择、混合执行及切换预定义模型集等不同路由类型。
推荐理由:OpenRouter 上线模型路由器基准测试页,通过量化质量、速度与成本帮助开发者评估路由策略的实际收益与潜在延迟风险。
OpenRouter 发布指南介绍如何从生产流量构建黄金评估数据集(Golden Eval Dataset),以解决通用基准无法反映特定业务表现的问题。该数据集由经过人工审核的生产输入和预期输出组成,需版本化并集成到 CI 中作为回归测试。
推荐理由:提供了从生产流量构建黄金评估数据集的五步流程及跨模型对比方法,帮助开发者基于真实业务数据而非通用基准进行模型选型与回归测试。
LangChain 宣布在 LangSmith Evals 中正式支持 Jev 作为评估器,为团队提供快速、低成本的开放式 Agent 行为评估方法。Jev 属于 System One 模型,不生成文本而是直接返回结构化决策(如概率、选项或评分),据称比同类 LLM 便宜约 450 倍且快约 200 倍。
推荐理由:LangSmith 集成 Jev 作为评估器,提供比传统 LLM 裁判更低成本、更高一致性的 Agent 行为追踪方案。
我们正通过 MentalHealthBench 展示前沿模型在真实心理健康对话中的持续改进。这一全新开源基准由 80 多位心理健康临床医生参与构建。我们将其公开,以便其他研究人员能够检查
在修复了 Grok 4.7 暴露的弱点后(感谢 Grok),我们审计了在 SWE-Together 排行榜上运行的所有模型是否存在相同行为,重新运行了所有通过的试验,并更新了数据行。以下是变更内容。我们扫描了所有的