跳到正文
vLLM 官方博客· Inferact and the vLLM Team·· 3 小时前精选AI 评分80

vLLM发布MiniMax-M3.1-Flash Day-0支持

vLLM Delivers Day-0 Support for MiniMax-M3.1-Flash

AI 导读

vLLM宣布对MiniMax-M3.1-Flash模型提供Day-0支持,覆盖NVIDIA Blackwell、Rubin及AMD MI350系列GPU。该模型通过原生NVFP4 KV缓存和MoE权重实现高效推理,在GB300上智能体工作负载单用户吞吐达418.9 tok/s,在Rubin上达724.9 tok/s。

AI 推荐理由

vLLM官方详解MiniMax-M3.1-Flash的Day-0支持,涵盖NVFP4量化、稀疏注意力优化及多硬件平台性能数据,为部署提供直接参考。

来源:vLLM 官方博客 · vllm.ai