跳到正文
  1. The Decoder82

    GPT-6-Astra 在理论物理基准测试中解决 49/50 个问题

    最新研究显示,GPT-6-Astra 在 TheoPhysEval 基准测试中以平均每题不到 $3 的成本解决了 49 个理论物理问题,准确率达 98%。该测试聚焦于应用已知方法处理微调问题的“例行”研究工作,Anthropic Opus 5.5 以 92% 的准确率位居第二。尽管模型在具体计算上表现强劲,但研究者指出其在构建理论和判断问题趣味性方面仍无法替代人类专家。

    推荐理由:原文披露了针对理论物理常规计算任务的基准测试结果及成本数据,读者可据此评估当前模型在科研辅助中的实际能力边界。

  1. DeepLearning.AI60

    DeepLearning.AI 解读 GLM-5.3 与 Claude Mythos 网络安全能力对比

    DeepLearning.AI 引用 Anthropic 数据指出,开源模型 GLM-5.3 在 ExploitBench 漏洞利用任务中解决率为 12%,接近 Claude Mythos 的 14%。此外,仅花费 $20.40 token 成本即发现了近期 Google Chrome 的一个安全漏洞。

    推荐理由:原文引用 Anthropic 数据对比开源模型与 Claude Mythos 在 ExploitBench 上的表现,并提及低成本发现 Chrome 漏洞的案例。

  1. OpenRouter Announcements68

    OpenRouter 评测:Jev 1.13 与 Claude Opus 5 在分类任务中的性能与成本对比

    OpenRouter 对 TypeSafe 的 Jev 1.13 模型与 Claude Opus 5 在 Banking77 意图分类任务上进行了基准测试。结果显示 Jev 准确率比 Opus 低 3.3 个百分点(81.0% vs 84.4%),但中位延迟快 13 倍且成本低 22 倍。

    推荐理由:原文通过 Banking77 数据集实测对比了 Jev 与 Claude Opus 5 在分类任务上的精度、延迟和成本,并提供了基于置信度的级联路由方案。

  1. SemiAnalysis82

    SemiAnalysis 实测 Vera Rubin NVL72:智能体推理每美元性能提升 67 倍

    SemiAnalysis 发布 Vera Rubin NVL72 在 AgentX 智能体推理基准下的首份验证结果,显示其在特定场景下每美元总拥有成本(TCO)产生的吞吐量约为 GB300 的 67 倍。

    推荐理由:基于 AgentX 基准实测 Vera Rubin NVL72,量化其相比 Blackwell 在智能体推理中的能效与成本优势。

  1. Sierra Blog63

    Sierra 开源 Hyper-𝜏-bench:评估构建智能体的智能体

    Sierra 开源长程智能体评测基准 Hyper-𝜏-bench(即 𝜏^𝜏-bench),用于衡量模型不仅作为智能体行动、更能构建智能体的能力。该基准要求开发者智能体在沙盒中从模拟业务记录恢复规格、设计架构并生成工具,最终交付符合成本预算的客服智能体。

    推荐理由:原文通过沙盒环境量化了模型构建智能体的能力瓶颈,揭示了从规格恢复到成本控制的五大失败模式。

  1. SemiAnalysis82

    SemiAnalysis发布TPUv7 Ironwood第三方推理实测与TorchTPU栈深度解析

    SemiAnalysis在InferenceX Preview中发布了Google TPUv7 Ironwood的首批第三方推理结果,显示其在FP8聚合服务模式下相比NVIDIA B200/B300拥有最高50%的性能每美元优势。

    推荐理由:第三方实测显示TPUv7在FP8聚合服务下性能每美元比B200高50%,并解析了TorchTPU栈的优化细节。

  1. SemiAnalysis83

    SemiAnalysis 发布开源智能体推理基准 AgentX 1.0

    SemiAnalysis 宣布推出 AgentX 1.0,这是全球首个完全开源的多轮智能体编码推理基准,支持百万级上下文长度,采用 Apache 2.0 协议发布。

    推荐理由:SemiAnalysis 发布首个百万上下文智能体编码推理基准 AgentX,并开源了针对 vLLM、SGLang 等框架的数十项上游优化,为评估 AI 硬件在真实多轮长上下文负载下的性能提供了新标准。

  1. SemiAnalysis78

    SemiAnalysis 分析开源模型追赶闭源前沿的周期规律

    SemiAnalysis 指出开源 AI 模型追赶闭源前沿模型的周期正在逐代减半,从早期扩展时代的约两年缩短至智能体时代的数月。

    推荐理由:通过量化三个技术时代中开源模型追赶闭源前沿的时间周期,揭示了差距缩短的加速规律及其对行业格局的影响。

  1. Together AI Blog80

    Together AI 发布 GLM-5.3 与 Claude Fable 5 在 DeepSWE 上的评测:成本、编码能力与路由策略

    Together AI 在 DeepSWE 基准上对比了 GLM-5.3 和 Claude Fable 5,两者首次尝试通过率(pass@1)统计上持平,但 GLM-5.3 成本低 5.4 倍且在多次重试下覆盖率更高。

    推荐理由:原文通过 DeepSWE 基准实测对比两款模型在成本、准确率及特定语言领域的表现,为开发者提供基于数据的选型与路由策略参考。

已经到底了