vLLM 采用 Push-based KV 传输优化分离式推理性能

vLLM 引入基于推送（push-based）的 NIXL 连接器以优化分离式推理中的 KV 缓存传输，通过将协调与设置移出关键路径来降低延迟。在 Amazon EC2 P5en 实例上使用 Qwen3-32B 模型的基准测试显示，相比默认的拉取模式，推送模式可将首字生成时间（TTFT）最多改善 3 倍，每输出 token 时间（TPOT）提升约 30%。