vLLM 官方博客· Or Ozeri, Danny Harnik, Ronen Schaffer, Itay Etelis, Varun Sundar Rabindranath·· 2026-09-10精选AI 评分65
vLLM 推出分层 KV 缓存卸载框架以优化长上下文推理
Tiered KV Cache Offloading in vLLM
AI 导读
vLLM 发布分层 KV 缓存卸载框架，允许将驱逐的 KV 数据保留在主机内存、存储或远程节点中，避免重新计算从而降低延迟并提升集群有效服务容量。该设计以主机内存为核心枢纽，支持文件系统、对象存储及 P2P 网络作为二级存储，实现了跨节点的缓存共享与混合模型（如 Mamba）的透明支持。基准测试显示，在高并发对话场景下，相比无卸载方案，启用存储卸载可使吞吐量翻倍以上。
推荐理由
vLLM 通过分层 KV 缓存卸载机制，将 GPU 显存压力转移至主机内存和存储层，显著提升了长上下文场景下的集群服务容量与响应速度。
来源：vLLM 官方博客 · vllm.ai