DeepSeek V4.1 Flash 刷新吞吐纪录
在 DeepSeek V4.1 Flash 上,Vera Rubin 在每用户约 230 至 350 tok/s 区间内,每兆瓦吞吐量约为 GB300 的 3.4 至 3.6 倍,并在单台 4-GPU 服务器上达到每用户 906 tok/s,这是我们在排行榜上任何模型的最快结果
在 DeepSeek V4.1 Flash 上,Vera Rubin 在每用户约 230 至 350 tok/s 区间内,每兆瓦吞吐量约为 GB300 的 3.4 至 3.6 倍,并在单台 4-GPU 服务器上达到每用户 906 tok/s,这是我们在排行榜上任何模型的最快结果
Artificial Analysis 在 AA-AgentPerf 上发布了 NVIDIA Vera Rubin NVL72 的初步测试结果。数据显示,该硬件在 DeepSeek V4 Pro 上的每兆瓦总吞吐量约为前代 GB300 NVL72 的 ~5.7x,在 DeepSeek V4.1 Flash 上约为 ~5.4x,在 GLM-5.2 和 Kimi K3 上分别约为 ~3.0x 和 ~2.8x。Vera Rubin 是 NVIDIA 的下一代架构产品。
vLLM团队提出一种新方案,通过让训练前向直接调用vLLM推理内核并修改内核逻辑,确保采样token的logprob在训练和推理侧逐位一致(diff=0)。在DeepSeek-V4-Flash实验中,该方法在保持91.3%基线吞吐量的同时实现了零差异,避免了因数值不一致导致的KL散度飙升和奖励下降;该流程已封装为Agent Skill开源,并成功迁移至Nemotron混合架构模型。
推荐理由:原文提供了在高性能推理引擎上实现训练与推理数值完全一致的具体方法、代码及Agent技能包,为RL训练稳定性优化提供了可复用的工程路径。
MI355X 在 DeepSeek V4 Pro 0813 上表现最强。在每用户 35 至 75 tok/s 区间,其每兆瓦吞吐量比 B200 高约 15% 到 40%,峰值达每兆瓦 94M tokens/s(对应每用户 33 tok/s),此水平 B200 需降至每用户 13 tok/s 才能达到。当每用户速度超过约 80 tok/s 时,B200
除了新的 DeepSeek V4.1 Flash 结果外,我们还在 AA-AgentPerf 中为 Kimi K3、GLM-5.2/5.3 和 DeepSeek V4 Pro 添加了 AMD 的 MI355X - 将其与我们在编码智能体工作负载上最新的 NVIDIA 系统结果进行比较。AA-AgentPerf 是我们的智能体推理性能
我们已将 DeepSeek V4.1 Flash 添加到 AA-AgentPerf,并提供了 NVIDIA 和 AMD 硬件的测试结果。在每用户 100 tokens/s 的条件下,NVIDIA GB300 以高达 261M tokens/s per MW 的吞吐量位居第一。AA-AgentPerf 是我们的智能体推理性能基准测试。它重放真实的智能
智能体读取多于写入,因此DeepSeek缩减了其记忆内容。请阅读本周《The Batch》中的技术解析。每 token 890 字节缓存,比 DeepSeek-V1 小 437 倍;输入从 4K 到 1M,每输出 token 计算量增加 25%;Flash 胜出
Inferact 和 vLLM 团队在 DeepSeek-V4.1-Flash 发布后三周内完成深度优化,在 SemiAnalysis AgentX 基准测试中实现了低并发下 1.9 倍加速及高吞吐约束下 5.3 倍的吞吐量提升。
推荐理由:vLLM 团队详细拆解了针对 DeepSeek-V4.1-Flash 的 SWA 有界重放与内核融合优化路径,展示了如何通过系统级调优实现智能体场景下 5 倍吞吐提升的具体工程方法。
Ai2 开源了用于科学文献综述生成的模型 AstaBrief 及配套训练数据。该模型基于 Qwen3-8B,通过监督微调(SFT)和直接偏好优化(DPO)构建,重点利用引用密度等统计信号过滤合成数据以提升证据接地能力。
推荐理由:原文公开了基于 Qwen3-8B 微调的科研报告生成模型 AstaBrief 及其训练数据,展示了通过优化 SFT 和 DPO 数据质量在保持引用准确性的同时实现约 3.5 倍推理加速的工程路径。
本周《The Batch》中,Andrew 的信涵盖开源权重模型 GLM-5.3 在利用漏洞方面几乎追平 Claude Mythos(12% vs. 14%)。此外还包括:小米新的开源权重领导者、Gemini 3.8 Live、DeepSeek-V4.1-Flash、AREX agents
Ai2 开源了基于 Qwen3-8B 微调的 AstaBrief 8B 模型,专门用于将研究问题和检索到的文献片段转化为带引用的科学报告。该模型在 Asta 平台作为 Fast mode 上线,相比 Claude 驱动的 Thinking mode,平均生成时间从 178.5 秒降至 51.1 秒,速度提升约 3.5 倍。
推荐理由:原文展示了通过优化数据过滤而非复杂算法,使小模型在科学报告生成中实现显著提速并开源权重,为本地化部署提供低成本方案。
OpenRouter 指南指出 DeepSeek V4 并非单一模型,仅 V4.1 Flash 和 V4 Flash Vision Exp 支持原生图像输入,其余版本均为纯文本模型。针对不支持图像的 V4 Pro 等版本,文章演示了通过前置 Qwen3.8 或 Kimi K3 等视觉模型生成文本描述再传入 V4 的替代方案,并提供了相应的 TypeScript SDK 调用示例。
vLLM 团队利用 Speculators 库在 GB300 NVL72 集群上成功训练了 Kimi-K3 的 DSpark 推测解码模型,将单流数学推理速度从约 110 tok/s 提升至约 435 tok/s。
推荐理由:原文详细拆解了基于GB300集群训练Kimi K3 DSpark草稿模型的全流程,提供了从数据提取到多节点部署的完整技术路径。
vLLM 团队联合 Inferact 发布技术博客,针对智能体工作负载的多轮会话、长上下文和高前缀复用特性,阐述了涵盖 KV 缓存管理、并行策略及 P/D 分离的全栈优化方案。
推荐理由:原文详细拆解了智能体负载下的全栈优化策略,并提供了基于公开基准的实测数据与失败经验复盘。
Together AI 在 DeepSWE 基准上对比了 DeepSeek V4 Pro 0813 和 Claude Fable 5,发现后者单次通过率更高但成本贵 90 倍。
推荐理由:通过 DeepSWE 实测对比两款模型的成本与能力差异,提供了基于互补性的级联路由策略以优化编程任务性价比。
Ai2 发布 TutorMoments 框架,利用 462 份真实数学辅导记录测试 LLM 能否平衡“提供支架”与“推动深度思考”。初步结果显示,模型在仅被告知“好好辅导”时倾向于过度帮助,明确提示权衡策略虽能提升表现,但仍难达到人类导师的精准判断水平。