跳到正文
10月13日周二
  1. Artificial Analysis42

    FrontierCode任务成本差异显著

    在 FrontierCode 上,单任务成本跨越两个数量级,从 GPT-6 Luna (max) 的 $0.09 到 Claude Fable 5.1 (max with fallback) 的 $12.00。四个模型位于得分与单任务成本的帕累托前沿:GPT-6 Luna (max) 得分为 42%,每任务成本 $0.09;MiMo-V2.6-Pro 得分为 45%

  2. Artificial Analysis35

    AA-3D 评测机制:构建检查投票排名

    AA-3D 工作原理:构建、检查、投票、排名 ➤ 每个模型作为离线沙盒中的智能体,将书面简报转化为网页 ➤ 无头浏览器和人工检查每个场景 ➤ 评审员比较来自同一简报的盲测配对 ➤ Bradley-Terry 拟合将投票转化为

  3. DeepLearning.AI82

    DeepLearning.AI 报道某新模型发布及性能表现

    DeepLearning.AI 转发消息指出某新模型已发布,该模型在多项基准测试中展现了显著的推理能力提升。具体版本号及详细评测数据未在短文中列出。

    推荐理由:原文提及了特定模型版本的发布及其在推理能力上的表现,读者可据此了解最新模型迭代的关键特性。

10月12日周一
10月11日周日
  1. IT之家36

    华为与华东师大联合研发“七曜”时序模型登顶 TIME-leaderboard 和 GIFT-Eval

    华为云与华东师范大学联合研发的昇腾原生时序预训练模型“七曜”,成功登顶国际权威评测榜单 TIME-leaderboard 和 GIFT-Eval(Pretrained 类目)。该模型基于华为昇腾生态深度优化,具备高精度、高鲁棒性,支持零样本预测及低成本二次微调。这一突破标志着国内时序基础模型正式跻身全球第一梯队,可适配气象、能源、金融等核心场景。

  2. Artificial Analysis35

    HeyGen Voice登顶TTS排行榜

    HeyGen Voice 在 Artificial Analysis Controlled Voice TTS Arena Leaderboard 上占据第 #1 位置,领先于阿里巴巴的 Qwen-Audio-3.1-TTS-Plus 和 ElevenLabs 的 Eleven v4 Turbo。HeyGen Voice 是 @HeyGen 推出的首个 Text to Speech 模型,在我们的 Controlled Voice Arena 中接受评估,其中

  3. Artificial Analysis33

    HiDream-O1-Video-1.0 视频榜第六

    HiDream-O1-Video-1.0 在 Artificial Analysis 带音频图生视频排行榜上 debut 排名第 6。HiDream-O1-Video-1.0 是 HiDream 推出的新视频模型,该团队自称“专注于生成式 AI 和原生全模态世界模型”。HiDream 将其定位为

10月10日周六
10月9日周五
  1. Artificial Analysis49

    Grok视频模型性价比超Veo 3.1

    Grok Imagine Video 1.5 Lite 在 AA-Video-T2V v2.0 上排名超过 Google 的 Veo 3.1,价格约为其三分之一。在带音频的 1080p 分辨率下,Grok Imagine Video 1.5 Lite 每秒成本为 $0.14,而 Veo 3.1 为每秒 $0.40。它在 AA-Video-T2V v2.0 上排名第 17,比 Veo 高两位

  2. Artificial Analysis35

    Grok Imagine Video 1.5 Lite 登榜

    Grok Imagine Video 1.5 Lite 在两个 AA-Video-T2V v2.0 排行榜上均位列第 17,并在质量与速度的帕累托前沿占据一席之地。Grok Imagine Video 1.5 Lite 是 SpaceXAI 的 Grok Imagine 视频系列中新的低成本模型。它生成文本到视频的片段

  3. Artificial Analysis40

    GPT-6 Sol 登顶 Cyber Index

    GPT-6 Sol (Daybreak Blue, max) 已作为受信任访问模型加入 Artificial Analysis Cyber Index,并在该指数中位列第一。与公开可用的 GPT-6 Sol 相比,Daybreak Blue 模型在 CyberGym-E2E 基准测试上取得了最大提升

  4. Artificial Analysis42

    Artificial Analysis 发布可信访问模型

    在 Artificial Analysis Cyber Index 中引入 trusted-access models;GPT-6 Sol (Daybreak Blue) 目前领跑 Cyber Index。Artificial Analysis Cyber Index Alliance 汇聚行业合作伙伴,评估 AI 模型在企业网络防御任务中的表现。

  5. Artificial Analysis33

    Harvey LAB-AA v1.1 发布

    今日我们宣布与 Harvey 合作推出 Harvey LAB-AA v1.1。这更新了法律智能体基准(LAB)的评分方法,增加了幻觉检查,并要求正确回答不得包含实质性错误陈述。LAB-AA v1.1 的新核心指标为

  6. Artificial Analysis24

    Artificial Analysis 发布智能指数 v5

    宣布 Artificial Analysis Intelligence Index v5 将于 10 月下旬推出。Intelligence Index v5 将在评估 AI 前沿能力方面实现重大飞跃。变更包括新增 Terminal-Bench Science 和一个使用私有数据集的新编码基准。敬请期待

  7. Artificial Analysis62

    Artificial Analysis 发布模型性能评测分析

    Artificial Analysis 发布了针对 AI 模型的性能评测与分析内容。该材料展示了相关模型在基准测试中的具体表现数据,为评估模型能力提供了参考依据。

    推荐理由:第三方评测机构提供了模型在特定基准下的表现数据,读者可据此对比不同模型的性价比与能力差异。

  8. Artificial Analysis50

    Google Nano Banana 2.1 发布

    Google 的 Nano Banana 2.1 在 AA-Image-T2I v2.0 和 AA-Image-Editing v2.0 上均排名第 4,价格仅为 Nano Banana 2 的一半。Nano Banana 2.1 是 Google 于 10 月 6 日发布的新图像模型。它基于 Gemini 3.6 Flash,并取代了

10月8日周四
  1. Artificial Analysis42

    Vidu Q4 Preview 视频模型发布

    Vidu Q4 Preview 在 Artificial Analysis AA-Video-I2V v1.0 排行榜上以第 3 名首次亮相,较 Vidu Q3 Pro 的第 19 名大幅跃升。Vidu Q4 Preview 是 Vidu 的新视频模型,今日发布,早于完整的 Q4 版本。它能生成时长为 3 到 16 秒、最高支持 4K 分辨率且包含原生音频的片段,并且

  2. Artificial Analysis30

    Artificial Analysis 发布音乐基准 v1.1

    我们即将推出 AA-Music-Vocal v1.1 和 AA-Music-Instrumental v1.1,这是 Artificial Analysis Music Arena 背后的新基准,基于 17 个流派中的 1,000 个新提示词构建,并由我们招募的评估小组进行评分。在过去 3 个月中,像 Suno v6 这样的旗舰模型发布

10月7日周三
10月6日周二
10月5日周一
  1. GitHub Blog · AI & ML50

    GitHub 发布 ReviewBench:面向 AI 代码审查的开源基准

    GitHub 推出 ReviewBench,这是一个基于 1.039 亿个真实 Pull Request 分布构建的 AI 代码审查离线基准。该基准包含覆盖 19 种语言的 219 个代表性 PR,采用多源黄金集并由高级工程师以 96.6% 的一致性进行独立验证。ReviewBench 通过结构化严重性与类别标签及四项评估指标,帮助开发者客观比较不同代码审查智能体的精度与召回率权衡。

10月4日周日
  1. DeepLearning.AI60

    DeepLearning.AI 解读 GLM-5.3 与 Claude Mythos 网络安全能力对比

    DeepLearning.AI 引用 Anthropic 数据指出,开源模型 GLM-5.3 在 ExploitBench 漏洞利用任务中解决率为 12%,接近 Claude Mythos 的 14%。此外,仅花费 $20.40 token 成本即发现了近期 Google Chrome 的一个安全漏洞。

    推荐理由:原文引用 Anthropic 数据对比开源模型与 Claude Mythos 在 ExploitBench 上的表现,并提及低成本发现 Chrome 漏洞的案例。

10月2日周五
  1. OpenRouter Announcements73

    OpenRouter 推出 Model Router Benchmarks 页面以对比模型路由器性能

    OpenRouter 发布新的 Model Router Benchmarks 页面,用于比较各类模型路由器在质量、速度和成本上的表现。该页面引入了综合评分的 Router Index(默认权重为质量 60%、时间 20%、成本 20%),并详细区分了提供商路由、模型选择、混合执行及切换预定义模型集等不同路由类型。

    推荐理由:OpenRouter 上线模型路由器基准测试页,通过量化质量、速度与成本帮助开发者评估路由策略的实际收益与潜在延迟风险。

9月30日周三
  1. OpenRouter Announcements62

    OpenRouter 指南:如何从生产流量构建黄金评估数据集

    OpenRouter 发布指南介绍如何从生产流量构建黄金评估数据集(Golden Eval Dataset),以解决通用基准无法反映特定业务表现的问题。该数据集由经过人工审核的生产输入和预期输出组成,需版本化并集成到 CI 中作为回归测试。

    推荐理由:提供了从生产流量构建黄金评估数据集的五步流程及跨模型对比方法,帮助开发者基于真实业务数据而非通用基准进行模型选型与回归测试。

  2. LangChain Blog60

    LangSmith 上线 Jev-as-a-judge 评估功能

    LangChain 宣布在 LangSmith Evals 中正式支持 Jev 作为评估器,为团队提供快速、低成本的开放式 Agent 行为评估方法。Jev 属于 System One 模型,不生成文本而是直接返回结构化决策(如概率、选项或评分),据称比同类 LLM 便宜约 450 倍且快约 200 倍。

    推荐理由:LangSmith 集成 Jev 作为评估器,提供比传统 LLM 裁判更低成本、更高一致性的 Agent 行为追踪方案。

9月24日周四
  1. Zhuokai Zhao40

    SWE-Together 修复 Grok 4.7 暴露弱点

    在修复了 Grok 4.7 暴露的弱点后(感谢 Grok),我们审计了在 SWE-Together 排行榜上运行的所有模型是否存在相同行为,重新运行了所有通过的试验,并更新了数据行。以下是变更内容。我们扫描了所有的