vLLM 引入双向 KV 传输优化多轮 Agent 工作负载 TTFT

vLLM 通过双向 KV 缓存传输机制，允许解码节点将已计算的 KV 返回给预填充节点复用，从而减少多轮对话中的重复计算。在 Amazon EC2 P5en 实例基准测试中，该方案使 Qwen3-32B 的首 Token 延迟（TTFT）降低至原来的 1/1.6，zai-org/GLM-5-FP8 降低至 1/3.3。