vLLM 官方博客· vLLM Team and Inferact·· 2026-07-27精选AI 评分83
vLLM 发布 Kimi K3 Day-0 高效支持指南
Kimi K3 Is Here: Efficient Day-0 Support on vLLM
AI 导读
vLLM 宣布为开源多模态 MoE 模型 Kimi K3 提供 Day-0 支持，涵盖架构适配、内核优化及部署配方。在 16 张 NVIDIA GB300 NVL72 GPU 上，启用 DSpark 推测解码后单用户吞吐可达 370 tok/s，较无推测解码提升 3.14 倍。该支持包括混合前缀缓存、预填充/解码分离及 AMD ROCm 兼容，相关 Docker 镜像和详细配置已开放获取。
推荐理由
vLLM 官方给出了 Kimi K3 的 Day-0 支持细节与性能数据，开发者可据此评估其在生产环境中的部署可行性。
来源：vLLM 官方博客 · vllm.ai