跳到正文
热点事件持续更新

vLLM双向KV传输实测：Qwen3 TTFT降1.6倍

2 篇报道2 个报道来源3 小时前更新

先了解这件事

AI 综述

vLLM 推出双向 KV Cache 传输功能，允许预填充节点复用解码节点保留的 KV 块，以减少多轮对话中的重复计算并降低首 Token 时间（TTFT）。该机制旨在提升加速器利用率，帮助应用在对话增长时维持响应速度。 AWS Machine Learning Blog 在 Amazon EC2 P5en 实例上的基准测试显示，该方案使 Qwen3-32B 的 TTFT 降低至原来的 1/1.6，zai-org/GLM-5-FP8 降低至 1/3.3。官方指出，虽然该功能可在其他支持配置上运行，但具体性能表现会因硬件、模型、工作负载及网络配置的不同而有所差异。

AI 根据报道生成 · 2 小时前更新

最新进展10月20日 00:03
vLLM 引入双向 KV 传输优化多轮 Agent 工作负载 TTFT

报道时间线

沿着报道，了解事件的不同侧面。

10月20日
  1. AWS Machine Learning Blog
    vLLM 引入双向 KV 传输优化多轮 Agent 工作负载 TTFT

    vLLM 通过双向 KV 缓存传输机制，允许解码节点将已计算的 KV 返回给预填充节点复用，从而减少多轮对话中的重复计算。在 Amazon EC2 P5en 实例基准测试中，该方案使 Qwen3-32B 的首 Token 延迟（TTFT）降低至原来的 1/1.6，zai-org/GLM-5-FP8 降低至 1/3.3。

10月12日
  1. vLLM 官方博客精选
    vLLM 推出双向 KV 传输以优化多轮智能体工作负载 TTFT

    vLLM 发布双向 KV Cache 传输功能，允许预填充节点复用解码节点保留的 KV 块，从而减少多轮对话中的重复计算并降低首 Token 时间（TTFT）。

本事件热度走势

可比范围当前
10
可比范围峰值
1010月20日 01:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。