vLLM 官方博客· Giancarlo Delfin (Inferact)·· 5 天前AI 评分40
vLLM 推出无需置信度头的自适应验证
Adaptive Verification Without a Confidence Head
AI 导读
vLLM 通过在线拟合估计器实现无置信度头模型的自适应验证,利用草稿模型 logits 预测接受概率以裁剪低置信 token。该功能在 PR #52228 中落地,支持 EAGLE、MTP 等现有检查点直接启用 `enable_adaptive_verification`,无需重新训练即可节省计算开销。
来源:vLLM 官方博客 · vllm.ai