vLLM 官方博客· Sunita Nadampalli (AWS), Nicolò Lucchesi (Mistral)·2026-10-14 08:00· 5 天前AI 评分48

vLLM 推出基于推送的 KV 传输以优化分离式推理性能

Push-Based KV Transfer to Improve TTFT and TPOT for Disaggregated Inference in vLLM

AI 导读

vLLM 引入基于推送的 NIXL 连接器，将 KV 缓存传输协调移出关键路径。在 Qwen3-32B 模型基准测试中，该方案使首字延迟（TTFT）最高降低至原来的三分之一，每输出 token 时间（TPOT）提升达 30%。此功能已贡献给 vLLM 项目，支持加速器无关的分离式推理部署。

来源：vLLM 官方博客 · vllm.ai