vLLM 详解 Kimi K3 深度优化:实现 840 tokens/s 及快速响应维护策略
vLLM 官方博客发布 Kimi K3 的深度优化方案,通过 Agent 辅助开发构建统一 CuTe DSL decode 路径,在 16 张 NVIDIA GB300 GPU 上实现 batch 1 超过 840 tokens/s 的解码速度。
推荐理由:原文详细拆解了 Kimi K3 在 vLLM 中的底层优化逻辑与性能数据,并提出了平衡开发速度与稳定性的维护框架。
vLLM 官方博客发布 Kimi K3 的深度优化方案,通过 Agent 辅助开发构建统一 CuTe DSL decode 路径,在 16 张 NVIDIA GB300 GPU 上实现 batch 1 超过 840 tokens/s 的解码速度。
推荐理由:原文详细拆解了 Kimi K3 在 vLLM 中的底层优化逻辑与性能数据,并提出了平衡开发速度与稳定性的维护框架。
Google DeepMind 的 Gemini 4 Argon 在 ARC-AGI-3 基准测试中使用 Provider Adapter Harness 获得 97.5% 的分数,成为继 OpenAI 之后第二家突破 95% 的 AI 实验室。
推荐理由:原文对比了不同测试环境下的分数差异,并指出模型在数学和软件工程领域的相对短板。
vLLM 宣布从 Day 0 支持 Reflection 的 501B 参数 MoE 模型 Beam,并在 NVIDIA Blackwell 上完成优化。通过编码智能体自主优化,该实现使 batch-1 解码速度提升 2.71 倍,预填充速度提升 1.87 倍。
推荐理由:vLLM 官方展示了 Reflection Beam 模型的 Day 0 支持细节,包括智能体自动优化带来的显著性能提升和 DFlash2 投机解码配置,为大规模 MoE 模型的高效部署提供了具体参考。
vLLM 官方博客发布技术复盘,详述如何通过六项核心优化使 Kimi K3 在八卡 AMD Instinct MI355X 系统上的每 GPU 吞吐量超越 NVIDIA HGX B300 24.4%,并在成本模型下实现每美元多产出 87.4% 的 token。文章深入解析了 DCP8 缓存分片、MoE 去重计算、KDA 状态并行化及 MLA 长上下文解码加速等具体工程决策与基准测试数据。
推荐理由:文章拆解了 Kimi K3 在 AMD MI355X 上的六项关键优化,提供了从缓存复用到内核融合的具体工程思路。
Apertus 1.5 在 8B 和 70B 版本中新增图像与音频理解、可选思考模式,并将上下文窗口扩展至 262,144 tokens。该模型基于 Apertus 1.0 进行持续预训练,采用早期融合架构处理多模态数据,并在指令遵循与工具调用能力上有所提升。项目以 Apache 2.0 许可证开源权重、数据及训练细节,同时发布了符合 EEE 标准的评估卡片以增强透明度。
推荐理由:Apertus 1.5 通过持续预训练引入原生多模态与思考模式,并公开全链路训练细节,为复现和评估提供了完整依据。
vLLM团队提出一种新方案,通过让训练前向直接调用vLLM推理内核并修改内核逻辑,确保采样token的logprob在训练和推理侧逐位一致(diff=0)。在DeepSeek-V4-Flash实验中,该方法在保持91.3%基线吞吐量的同时实现了零差异,避免了因数值不一致导致的KL散度飙升和奖励下降;该流程已封装为Agent Skill开源,并成功迁移至Nemotron混合架构模型。
推荐理由:原文提供了在高性能推理引擎上实现训练与推理数值完全一致的具体方法、代码及Agent技能包,为RL训练稳定性优化提供了可复用的工程路径。
上海人工智能实验室团队依托书生科学多模态大模型 S2(书生-S2),通过人机协同完成了困扰数学界 30 余年的三维 Ghys 猜想证明。北京大学董彬教授、刘若川院士团队利用 SHEAF 框架对证明进行了形式化验证,确认其正确性。
推荐理由:原文展示了大模型在解决困扰学界30年的数学猜想中的具体应用路径及形式化验证结果,为评估AI在基础科学领域的推理能力提供了实证案例。
AWS 发布教程指导开发者在 Amazon Bedrock 上利用 Grok 4.7 构建具备工具调用能力的长周期智能体。文章通过三个需搜索而非简单查表的复杂任务(故障诊断、维护调度、迁移预算)进行了 72 次运行测试,结果显示 xhigh 推理强度下准确率为 100%,而 low 强度以约八分之一的输出 Token 实现了 83% 的准确率。
推荐理由:原文通过构建工具调用智能体并对比不同推理强度下的表现,提供了在长周期任务中平衡准确率与Token成本的具体评估方法。
Google DeepMind 正式发布前沿模型 Gemini 4 Argon,面向开发者、企业及消费者开放 API 及订阅服务。该模型在编码、金融、法律、网络安全和科学等领域表现突出,在 Vals Index 中排名第一,并具备 1M token 的上下文窗口。
推荐理由:原文详述了该模型在代码重构、科学发现及安全防御中的具体性能提升与落地案例,展示了其处理复杂长程任务的实际能力。
Meta 发布 Muse Wonder 与 Muse Wonder Full 两款旗舰 AI 模型,宣称在推理、写作与代码能力上接近 Anthropic 顶尖模型。
推荐理由:原文披露了 Muse Wonder 系列模型的定位、性能对标及开放策略,读者可据此评估 Meta 在前沿 AI 竞赛中的最新进展。
Google DeepMind 的 AlphaProof Nexus 系统独立解决了数十个开放数学问题,相关研究已发表于 Science 并通过同行评审。该系统基于 Gemini 3.1 Pro,利用 Lean 语言进行证明起草与修正,成功破解了 9 个 Erdős 问题(其中两个悬置 56 年)、44 个 OEIS 猜想以及代数几何中的一个开放问题。
推荐理由:原文详述了AlphaProof Nexus在解决开放数学问题上的具体成果及同行评审情况,展示了AI在形式化证明领域的最新进展。
Inferact 和 vLLM 团队在 DeepSeek-V4.1-Flash 发布后三周内完成深度优化,在 SemiAnalysis AgentX 基准测试中实现了低并发下 1.9 倍加速及高吞吐约束下 5.3 倍的吞吐量提升。
推荐理由:vLLM 团队详细拆解了针对 DeepSeek-V4.1-Flash 的 SWA 有界重放与内核融合优化路径,展示了如何通过系统级调优实现智能体场景下 5 倍吞吐提升的具体工程方法。
Mistral AI 推出 Mistral Large 4(ML4)公开预览版,这是一款拥有 1 万亿参数、490 亿激活参数的原生多模态开放权重模型。该模型在欧洲数据中心使用 NVIDIA Grace Blackwell GPU 从零开始训练,在编码、智能体工作流及网络安全等领域表现卓越,部分指标超越闭源前沿模型。权重将于本月底发布,目前可通过 Mistral Studio 试用 API。
推荐理由:Mistral Large 4 以开放权重形式提供前沿性能,其欧洲本土训练背景为寻求数据主权的用户提供了新选择。
AI 公司 Reflection 发布首个开源权重模型 Beam,旨在以最小算力实现强性能,直接对标 DeepSeek 和 Qwen 等中国开源模型。该 MoE 架构模型总参数 501B,每 token 激活 23B,专注于编码、逻辑推理和 Agent 任务。
推荐理由:原文给出了新开源模型在低算力下匹配主流模型性能的具体基准数据与训练细节,读者可据此评估其成本效益。
Google DeepMind 正式宣布推出新前沿模型 Gemini 4 Argon,该模型旨在通过深度推理处理复杂的长周期工作流,目前正通过 Fairwind Program 向受信任的网络安全防御者逐步开放。
推荐理由:原文披露了 Gemini 4 Argon 在长上下文、软件工程及网络安全防御上的具体基准数据与分阶段开放策略,为评估前沿模型的实际落地能力提供了关键参考。
Anthropic 发布 Claude Sonnet 5.5,作为 Claude 5.5 系列的第二款模型,其速度比 Sonnet 5 快 30%,且因通常消耗更少 token,实际成本降低最多 30%。
推荐理由:原文详细列出了从 Sonnet 5 迁移到 5.5 的五个破坏性变更及 API 参数调整,开发者可据此快速评估升级成本与兼容性风险。
Modal 推出名为 Quail 的推理引擎,专门用于加速 AI-SQL 工作负载,在单张 H100 GPU 上实现超过 10 亿 tokens/min 的处理速度,比 vLLM 基线快 10 倍以上。
推荐理由:原文展示了针对 AI-SQL 负载的专用推理引擎 Quail,通过联合优化查询计划与推理过程实现显著性能提升。
Modal 官方博客分享了针对 Moonshot AI Kimi K2.6 等万亿参数模型的推理服务优化方案,实现了单副本性能提升 2.8x(每用户)和 5.6x(跨用户)。
推荐理由:原文详细拆解了万亿参数模型在编码智能体场景下的推理优化路径,提供了从单副本调优到多副本路由的完整工程实践参考。
vLLM 团队利用 Speculators 库在 GB300 NVL72 集群上成功训练了 Kimi-K3 的 DSpark 推测解码模型,将单流数学推理速度从约 110 tok/s 提升至约 435 tok/s。
推荐理由:原文详细拆解了基于GB300集群训练Kimi K3 DSpark草稿模型的全流程,提供了从数据提取到多节点部署的完整技术路径。
SemiAnalysis 发布 Vera Rubin NVL72 在 AgentX 智能体推理基准下的首份验证结果,显示其在特定场景下每美元总拥有成本(TCO)产生的吞吐量约为 GB300 的 67 倍。
推荐理由:基于 AgentX 基准实测 Vera Rubin NVL72,量化其相比 Blackwell 在智能体推理中的能效与成本优势。