跳到正文
vLLM 官方博客· Giancarlo Delfin (Inferact)·· 5 天前AI 评分40

vLLM 推出无需置信度头的自适应验证

Adaptive Verification Without a Confidence Head

AI 导读

vLLM 通过在线拟合估计器实现无置信度头模型的自适应验证,利用草稿模型 logits 预测接受概率以裁剪低置信 token。该功能在 PR #52228 中落地,支持 EAGLE、MTP 等现有检查点直接启用 `enable_adaptive_verification`,无需重新训练即可节省计算开销。

来源:vLLM 官方博客 · vllm.ai