vLLM 官方博客· AMD and Embedded LLM Teams·· 2026-09-10AI 评分45
vLLM 优化 MiniMax M3 于 AMD Instinct MI355X:吞吐提升 3.14 倍
Following the Bottleneck: Optimizing MiniMax M3 on AMD Instinct MI355X
AI 导读
vLLM 在 AMD Instinct MI355X 上优化 MiniMax M3,并发 32 时 MXFP8 标准服务输出吞吐量从 109.1 提升至 342.4 tokens/s/GPU,达 day-0 结果的 3.14 倍。通过 EAGLE3 投机解码及 P/D 分离等策略,并发 128 下 TP2/EP1 路径最高达 943.5 tokens/s/GPU,较初始结果提升 4.45 倍。
来源:vLLM 官方博客 · vllm.ai