Reflection 发布开源模型 Reflection-3.7-70B
Artificial Analysis 报道 Reflection 发布了其首个开源模型 Reflection-3.7-70B。该模型拥有 50B 总参数和 70B 激活参数，在 Artificial Analysis Intelligence Index 中得分为 42。
推荐理由：原文给出了 Reflection 新模型的基准分数和参数规模，读者可据此快速评估其在开源阵营中的性能定位。
内容形态
评测基准 最新动态
模型到底谁强：Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。
24 条精选近 30 天 16 条共收录 99 条
更新
评测基准的精选
Artificial Analysis精选AI 评分6060
The Decoder精选AI 评分7878 Gemini 4 Argon 在 ARC-AGI-3 基准测试中的表现分析
Google DeepMind 的 Gemini 4 Argon 在 ARC-AGI-3 基准测试中使用 Provider Adapter Harness 获得 97.5% 的分数，成为继 OpenAI 之后第二家突破 95% 的 AI 实验室。
推荐理由：原文对比了不同测试环境下的分数差异，并指出模型在数学和软件工程领域的相对短板。
Artificial Analysis精选AI 评分6262 Artificial Analysis 发布模型评测分析
Artificial Analysis 发布了针对 AI 模型的评测分析内容。该报告基于独立测试数据，展示了相关模型的性能表现与对比结果。
推荐理由：第三方机构对模型性能进行独立实测，提供了可参考的量化数据与对比视角。
The Decoder精选AI 评分8282 GPT-6-Astra 在理论物理基准测试中解决 49/50 个问题
最新研究显示，GPT-6-Astra 在 TheoPhysEval 基准测试中以平均每题不到 $3 的成本解决了 49 个理论物理问题，准确率达 98%。该测试聚焦于应用已知方法处理微调问题的“例行”研究工作，Anthropic Opus 5.5 以 92% 的准确率位居第二。尽管模型在具体计算上表现强劲，但研究者指出其在构建理论和判断问题趣味性方面仍无法替代人类专家。
推荐理由：原文披露了针对理论物理常规计算任务的基准测试结果及成本数据，读者可据此评估当前模型在科研辅助中的实际能力边界。
Artificial Analysis精选AI 评分6868 Artificial Analysis：Nvidia Nemotron 3.5 Super VL 成为美国领先开源权重模型
Nvidia Nemotron 3.5 Super VL 目前在 Artificial Analysis Intelligence Index 上得分为 26，成为领先的美国开源权重模型。该模型实现了前代 Nemotron 3 Super（得分 13）两倍智能水平，且每任务输出 token 减少约 60%。
推荐理由：原文提供了Nemotron 3.5 Super VL在智能指数上的具体得分及与上一代模型的效率对比数据，有助于评估其性能提升幅度。
Google Developers Blog精选AI 评分6262 Google 开发者博客分享 AI Agent 评估实战指南
Google 开发者博客发布文章，介绍如何超越主观“感觉检查”，为 AI Agent 建立可重复的评估体系。文章提出了基于关键用户旅程（CUJ）定义成功标准、使用模拟用户生成测试场景、以及结合人工审查与自动化工具的分阶段实施策略。
推荐理由：原文提供了从人工审查到自动化 CI/CD 的评估落地路径，并给出了规避常见陷阱的具体方法。
Artificial Analysis精选AI 评分8080 Gemini 4 Argon 正式发布 GA
Gemini 4 Argon 现已正式进入 GA（一般可用性）阶段。根据 Artificial Analysis Intelligence Index，Argon 的排名与 GPT-6 Astra 持平，但每任务成本仅为后者的 60%。这是 Google 重新向公众发布前沿模型，且在 11 月 30 日前提供折扣价格。
推荐理由：原文提供了 Gemini 4 Argon 与 GPT-6 Astra 在智能指数和任务成本上的具体对比数据，有助于评估其性价比。
Artificial Analysis精选AI 评分6262 Artificial Analysis 发布新模型基准测试报告
Artificial Analysis 发布了针对最新 AI 模型的基准测试结果。该报告由第三方独立机构提供，旨在通过标准化评测展示模型性能表现。
推荐理由：第三方评测机构发布了新模型的基准测试结果，提供了独立于厂商的性能数据参考。
DeepLearning.AI精选AI 评分8282 DeepLearning.AI 报道某新模型发布及性能表现
DeepLearning.AI 转发消息指出某新模型已发布，该模型在多项基准测试中展现了显著的推理能力提升。具体版本号及详细评测数据未在短文中列出。
推荐理由：原文提及了特定模型版本的发布及其在推理能力上的表现，读者可据此了解最新模型迭代的关键特性。
Artificial Analysis精选AI 评分6262 Artificial Analysis 发布模型性能评测分析
Artificial Analysis 发布了针对 AI 模型的性能评测与分析内容。该材料展示了相关模型在基准测试中的具体表现数据，为评估模型能力提供了参考依据。
推荐理由：第三方评测机构提供了模型在特定基准下的表现数据，读者可据此对比不同模型的性价比与能力差异。
DeepLearning.AI精选AI 评分6060 DeepLearning.AI 解读 GLM-5.3 与 Claude Mythos 网络安全能力对比
DeepLearning.AI 引用 Anthropic 数据指出，开源模型 GLM-5.3 在 ExploitBench 漏洞利用任务中解决率为 12%，接近 Claude Mythos 的 14%。此外，仅花费 $20.40 token 成本即发现了近期 Google Chrome 的一个安全漏洞。
推荐理由：原文引用 Anthropic 数据对比开源模型与 Claude Mythos 在 ExploitBench 上的表现，并提及低成本发现 Chrome 漏洞的案例。
OpenRouter Announcements精选AI 评分7373 OpenRouter 推出 Model Router Benchmarks 页面以对比模型路由器性能
OpenRouter 发布新的 Model Router Benchmarks 页面，用于比较各类模型路由器在质量、速度和成本上的表现。该页面引入了综合评分的 Router Index（默认权重为质量 60%、时间 20%、成本 20%），并详细区分了提供商路由、模型选择、混合执行及切换预定义模型集等不同路由类型。
推荐理由：OpenRouter 上线模型路由器基准测试页，通过量化质量、速度与成本帮助开发者评估路由策略的实际收益与潜在延迟风险。
OpenRouter Announcements精选AI 评分6262 OpenRouter 指南：如何从生产流量构建黄金评估数据集
OpenRouter 发布指南介绍如何从生产流量构建黄金评估数据集（Golden Eval Dataset），以解决通用基准无法反映特定业务表现的问题。该数据集由经过人工审核的生产输入和预期输出组成，需版本化并集成到 CI 中作为回归测试。
推荐理由：提供了从生产流量构建黄金评估数据集的五步流程及跨模型对比方法，帮助开发者基于真实业务数据而非通用基准进行模型选型与回归测试。
LangChain Blog精选AI 评分6060 LangSmith 上线 Jev-as-a-judge 评估功能
LangChain 宣布在 LangSmith Evals 中正式支持 Jev 作为评估器，为团队提供快速、低成本的开放式 Agent 行为评估方法。Jev 属于 System One 模型，不生成文本而是直接返回结构化决策（如概率、选项或评分），据称比同类 LLM 便宜约 450 倍且快约 200 倍。
推荐理由：LangSmith 集成 Jev 作为评估器，提供比传统 LLM 裁判更低成本、更高一致性的 Agent 行为追踪方案。
OpenRouter Announcements精选AI 评分6868 OpenRouter 评测：Jev 1.13 与 Claude Opus 5 在分类任务中的性能与成本对比
OpenRouter 对 TypeSafe 的 Jev 1.13 模型与 Claude Opus 5 在 Banking77 意图分类任务上进行了基准测试。结果显示 Jev 准确率比 Opus 低 3.3 个百分点（81.0% vs 84.4%），但中位延迟快 13 倍且成本低 22 倍。
推荐理由：原文通过 Banking77 数据集实测对比了 Jev 与 Claude Opus 5 在分类任务上的精度、延迟和成本，并提供了基于置信度的级联路由方案。
OpenRouter Announcements精选AI 评分6868 OpenRouter 解析 Jev 与 LLM-as-a-Judge 的评估差异及选型指南
OpenRouter 发布技术解析，对比 TypeSafe 的决策模型 Jev 与传统 LLM-as-a-Judge 在 Agent 输出评估中的表现。测试显示，在证据完备的封闭标准下，Jev 与 LLM 判断器准确率相当，但具备更好的概率校准性，且成本仅为后者的 1/5，延迟为 1/10；而在需要长文本推理的开放标准（如摘要一致性）中，LLM 判断器与专家评分的相关性更高。
推荐理由：原文通过实测对比了 Jev 与 LLM-as-a-Judge 在准确率、校准度及成本上的差异，并给出了不同评估场景下的选型建议。
SemiAnalysis精选AI 评分8282 SemiAnalysis 实测 Vera Rubin NVL72：智能体推理每美元性能提升 67 倍
SemiAnalysis 发布 Vera Rubin NVL72 在 AgentX 智能体推理基准下的首份验证结果，显示其在特定场景下每美元总拥有成本（TCO）产生的吞吐量约为 GB300 的 67 倍。
推荐理由：基于 AgentX 基准实测 Vera Rubin NVL72，量化其相比 Blackwell 在智能体推理中的能效与成本优势。
Sierra Blog精选AI 评分6363 Sierra 开源 Hyper-𝜏-bench：评估构建智能体的智能体
Sierra 开源长程智能体评测基准 Hyper-𝜏-bench（即 𝜏^𝜏-bench），用于衡量模型不仅作为智能体行动、更能构建智能体的能力。该基准要求开发者智能体在沙盒中从模拟业务记录恢复规格、设计架构并生成工具，最终交付符合成本预算的客服智能体。
推荐理由：原文通过沙盒环境量化了模型构建智能体的能力瓶颈，揭示了从规格恢复到成本控制的五大失败模式。
SemiAnalysis精选AI 评分8282 SemiAnalysis发布TPUv7 Ironwood第三方推理实测与TorchTPU栈深度解析
SemiAnalysis在InferenceX Preview中发布了Google TPUv7 Ironwood的首批第三方推理结果，显示其在FP8聚合服务模式下相比NVIDIA B200/B300拥有最高50%的性能每美元优势。
推荐理由：第三方实测显示TPUv7在FP8聚合服务下性能每美元比B200高50%，并解析了TorchTPU栈的优化细节。
SemiAnalysis精选AI 评分8383 SemiAnalysis 发布开源智能体推理基准 AgentX 1.0
SemiAnalysis 宣布推出 AgentX 1.0，这是全球首个完全开源的多轮智能体编码推理基准，支持百万级上下文长度，采用 Apache 2.0 协议发布。
推荐理由：SemiAnalysis 发布首个百万上下文智能体编码推理基准 AgentX，并开源了针对 vLLM、SGLang 等框架的数十项上游优化，为评估 AI 硬件在真实多轮长上下文负载下的性能提供了新标准。