vLLM 官方博客· AMD and Embedded LLM·· 2026-08-23AI 评分45
vLLM 在 AMD GPU 上探索推测解码
Exploring Speculative Decoding in vLLM on AMD GPUs
AI 导读
vLLM 在 AMD Instinct MI300X/MI355X 上测试了原生 MTP、EAGLE-3 等五种推测解码方法,验证其通过单次目标模型校验多 token 提升吞吐。实验显示输出速度受草稿方式、提案长度及模型家族影响,该机制保留原模型行为并减少解码轮次。
来源:vLLM 官方博客 · vllm.ai