跳到正文
  1. Artificial Analysis60

    Reflection 发布开源模型 Reflection-3.7-70B

    Artificial Analysis 报道 Reflection 发布了其首个开源模型 Reflection-3.7-70B。该模型拥有 50B 总参数和 70B 激活参数,在 Artificial Analysis Intelligence Index 中得分为 42。

    推荐理由:原文给出了 Reflection 新模型的基准分数和参数规模,读者可据此快速评估其在开源阵营中的性能定位。

  1. Artificial Analysis62

    Artificial Analysis 发布模型评测分析

    Artificial Analysis 发布了针对 AI 模型的评测分析内容。该报告基于独立测试数据,展示了相关模型的性能表现与对比结果。

    推荐理由:第三方机构对模型性能进行独立实测,提供了可参考的量化数据与对比视角。

  2. Artificial Analysis68

    Artificial Analysis:Nvidia Nemotron 3.5 Super VL 成为美国领先开源权重模型

    Nvidia Nemotron 3.5 Super VL 目前在 Artificial Analysis Intelligence Index 上得分为 26,成为领先的美国开源权重模型。该模型实现了前代 Nemotron 3 Super(得分 13)两倍智能水平,且每任务输出 token 减少约 60%。

    推荐理由:原文提供了Nemotron 3.5 Super VL在智能指数上的具体得分及与上一代模型的效率对比数据,有助于评估其性能提升幅度。

  1. Google Developers Blog62

    Google 开发者博客分享 AI Agent 评估实战指南

    Google 开发者博客发布文章,介绍如何超越主观“感觉检查”,为 AI Agent 建立可重复的评估体系。文章提出了基于关键用户旅程(CUJ)定义成功标准、使用模拟用户生成测试场景、以及结合人工审查与自动化工具的分阶段实施策略。

    推荐理由:原文提供了从人工审查到自动化 CI/CD 的评估落地路径,并给出了规避常见陷阱的具体方法。

  1. Artificial Analysis80

    Gemini 4 Argon 正式发布 GA

    Gemini 4 Argon 现已正式进入 GA(一般可用性)阶段。根据 Artificial Analysis Intelligence Index,Argon 的排名与 GPT-6 Astra 持平,但每任务成本仅为后者的 60%。这是 Google 重新向公众发布前沿模型,且在 11 月 30 日前提供折扣价格。

    推荐理由:原文提供了 Gemini 4 Argon 与 GPT-6 Astra 在智能指数和任务成本上的具体对比数据,有助于评估其性价比。

  1. Artificial Analysis62

    Artificial Analysis 发布新模型基准测试报告

    Artificial Analysis 发布了针对最新 AI 模型的基准测试结果。该报告由第三方独立机构提供,旨在通过标准化评测展示模型性能表现。

    推荐理由:第三方评测机构发布了新模型的基准测试结果,提供了独立于厂商的性能数据参考。

  2. DeepLearning.AI82

    DeepLearning.AI 报道某新模型发布及性能表现

    DeepLearning.AI 转发消息指出某新模型已发布,该模型在多项基准测试中展现了显著的推理能力提升。具体版本号及详细评测数据未在短文中列出。

    推荐理由:原文提及了特定模型版本的发布及其在推理能力上的表现,读者可据此了解最新模型迭代的关键特性。

  1. Artificial Analysis62

    Artificial Analysis 发布模型性能评测分析

    Artificial Analysis 发布了针对 AI 模型的性能评测与分析内容。该材料展示了相关模型在基准测试中的具体表现数据,为评估模型能力提供了参考依据。

    推荐理由:第三方评测机构提供了模型在特定基准下的表现数据,读者可据此对比不同模型的性价比与能力差异。

  1. DeepLearning.AI60

    DeepLearning.AI 解读 GLM-5.3 与 Claude Mythos 网络安全能力对比

    DeepLearning.AI 引用 Anthropic 数据指出,开源模型 GLM-5.3 在 ExploitBench 漏洞利用任务中解决率为 12%,接近 Claude Mythos 的 14%。此外,仅花费 $20.40 token 成本即发现了近期 Google Chrome 的一个安全漏洞。

    推荐理由:原文引用 Anthropic 数据对比开源模型与 Claude Mythos 在 ExploitBench 上的表现,并提及低成本发现 Chrome 漏洞的案例。

  1. OpenRouter Announcements73

    OpenRouter 推出 Model Router Benchmarks 页面以对比模型路由器性能

    OpenRouter 发布新的 Model Router Benchmarks 页面,用于比较各类模型路由器在质量、速度和成本上的表现。该页面引入了综合评分的 Router Index(默认权重为质量 60%、时间 20%、成本 20%),并详细区分了提供商路由、模型选择、混合执行及切换预定义模型集等不同路由类型。

    推荐理由:OpenRouter 上线模型路由器基准测试页,通过量化质量、速度与成本帮助开发者评估路由策略的实际收益与潜在延迟风险。

  1. OpenRouter Announcements62

    OpenRouter 指南:如何从生产流量构建黄金评估数据集

    OpenRouter 发布指南介绍如何从生产流量构建黄金评估数据集(Golden Eval Dataset),以解决通用基准无法反映特定业务表现的问题。该数据集由经过人工审核的生产输入和预期输出组成,需版本化并集成到 CI 中作为回归测试。

    推荐理由:提供了从生产流量构建黄金评估数据集的五步流程及跨模型对比方法,帮助开发者基于真实业务数据而非通用基准进行模型选型与回归测试。

  2. LangChain Blog60

    LangSmith 上线 Jev-as-a-judge 评估功能

    LangChain 宣布在 LangSmith Evals 中正式支持 Jev 作为评估器,为团队提供快速、低成本的开放式 Agent 行为评估方法。Jev 属于 System One 模型,不生成文本而是直接返回结构化决策(如概率、选项或评分),据称比同类 LLM 便宜约 450 倍且快约 200 倍。

    推荐理由:LangSmith 集成 Jev 作为评估器,提供比传统 LLM 裁判更低成本、更高一致性的 Agent 行为追踪方案。

  1. OpenRouter Announcements68

    OpenRouter 评测:Jev 1.13 与 Claude Opus 5 在分类任务中的性能与成本对比

    OpenRouter 对 TypeSafe 的 Jev 1.13 模型与 Claude Opus 5 在 Banking77 意图分类任务上进行了基准测试。结果显示 Jev 准确率比 Opus 低 3.3 个百分点(81.0% vs 84.4%),但中位延迟快 13 倍且成本低 22 倍。

    推荐理由:原文通过 Banking77 数据集实测对比了 Jev 与 Claude Opus 5 在分类任务上的精度、延迟和成本,并提供了基于置信度的级联路由方案。

  1. OpenRouter Announcements68

    OpenRouter 解析 Jev 与 LLM-as-a-Judge 的评估差异及选型指南

    OpenRouter 发布技术解析,对比 TypeSafe 的决策模型 Jev 与传统 LLM-as-a-Judge 在 Agent 输出评估中的表现。测试显示,在证据完备的封闭标准下,Jev 与 LLM 判断器准确率相当,但具备更好的概率校准性,且成本仅为后者的 1/5,延迟为 1/10;而在需要长文本推理的开放标准(如摘要一致性)中,LLM 判断器与专家评分的相关性更高。

    推荐理由:原文通过实测对比了 Jev 与 LLM-as-a-Judge 在准确率、校准度及成本上的差异,并给出了不同评估场景下的选型建议。

  1. Sierra Blog63

    Sierra 开源 Hyper-𝜏-bench:评估构建智能体的智能体

    Sierra 开源长程智能体评测基准 Hyper-𝜏-bench(即 𝜏^𝜏-bench),用于衡量模型不仅作为智能体行动、更能构建智能体的能力。该基准要求开发者智能体在沙盒中从模拟业务记录恢复规格、设计架构并生成工具,最终交付符合成本预算的客服智能体。

    推荐理由:原文通过沙盒环境量化了模型构建智能体的能力瓶颈,揭示了从规格恢复到成本控制的五大失败模式。

  1. Together AI Blog80

    Together AI 发布 GLM-5.3 与 Claude Fable 5 在 DeepSWE 上的评测:成本、编码能力与路由策略

    Together AI 在 DeepSWE 基准上对比了 GLM-5.3 和 Claude Fable 5,两者首次尝试通过率(pass@1)统计上持平,但 GLM-5.3 成本低 5.4 倍且在多次重试下覆盖率更高。

    推荐理由:原文通过 DeepSWE 基准实测对比两款模型在成本、准确率及特定语言领域的表现,为开发者提供基于数据的选型与路由策略参考。

已经到底了