跳到正文
vLLM 官方博客· Alexandre Marques, Megan Flynn, Helen Zhao, Krishna Teja Chitty Venkata, Chibueze Ukachi (Red Hat AI)·· 2026-07-28精选AI 评分65

vLLM 与 Speculators 开源支持 P-EAGLE、DFlash 和 DSpark 并行起草算法

Parallel All the Way Down: Beyond Single-Token Generation with Speculative Decoding

AI 导读

vLLM 官方博客宣布与 Speculators 合作,正式提供对 P-EAGLE、DFlash 和 DSpark 三种最先进并行起草算法的完整开源支持。这些算法通过在单次验证器模型前向传播中并行生成整个候选 token 块,消除了传统自回归起草(如 EAGLE-3)中逐 token 生成的线性延迟瓶颈。

推荐理由

vLLM 与 Speculators 开源支持 P-EAGLE、DFlash 和 DSpark 并行起草算法,通过单次前向传播生成候选块以突破自回归限制并提升推理速度。

来源:vLLM 官方博客 · vllm.ai