vLLM公布Kimi K3在GB300上的优化实践
先了解这件事
vLLM官方博客发布Kimi K3的深度优化方案，通过Agent辅助开发构建统一CuTe DSL decode路径，在16张NVIDIA GB300 GPU上实现batch 1超过840 tokens/s的解码速度。该优化针对NVIDIA Blackwell GPU（8或16卡配置），支持decode batch 1至64，并可选用decode context parallelism处理长上下文。 IT之家援引SemiAnalysis报道指出，英伟达通过上游vLLM优化，使2.8万亿参数量的Kimi K3模型在GB300 NVL72硬件上实现423 tok/s/user的推理速度，性能提升1.68倍。该优化由CentML工程师完成，核心在于使用Cute DSL编写包含1.2万行代码的解码专用Megakernel。
AI 根据报道生成 · 4 小时前更新
事件进展
2 个进展
- 10月18日 21:25 · 1 篇报道英伟达优化 Kimi K3 模型推理速度IT之家：英伟达优化 Kimi K3 模型推理速度，提升 1.68 倍
- 10月16日 08:00 · 1 篇报道vLLM博客介绍Kimi K3在GB300上的优化实践vLLM 官方博客：vLLM 详解 Kimi K3 深度优化：实现 840 tokens/s 及快速响应维护策略
报道时间线
沿着报道，了解事件的不同侧面。
- IT之家英伟达优化 Kimi K3 模型推理速度，提升 1.68 倍
英伟达通过上游 vLLM 优化，使 2.8 万亿参数量的 Kimi K3 模型在 GB300 NVL72 硬件上实现 423 tok/s/user 的推理速度，性能提升 1.68 倍。该优化由 CentML 工程师完成，核心在于使用 Cute DSL 编写包含 1.2 万行代码的解码专用 Megakernel。此外，英伟达也在为 DeepSeek V4.1 等其他模型开发类似优化。
- vLLM 官方博客精选vLLM 详解 Kimi K3 深度优化：实现 840 tokens/s 及快速响应维护策略
vLLM 官方博客发布 Kimi K3 的深度优化方案，通过 Agent 辅助开发构建统一 CuTe DSL decode 路径，在 16 张 NVIDIA GB300 GPU 上实现 batch 1 超过 840 tokens/s 的解码速度。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 1010月18日 22:00
- 近 24 小时变化
- +190%
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。