vLLM 官方博客· Inferact and the vLLM Team·· 3 小时前精选AI 评分80
vLLM发布MiniMax-M3.1-Flash Day-0支持
vLLM Delivers Day-0 Support for MiniMax-M3.1-Flash
AI 导读
vLLM宣布对MiniMax-M3.1-Flash模型提供Day-0支持,覆盖NVIDIA Blackwell、Rubin及AMD MI350系列GPU。该模型通过原生NVFP4 KV缓存和MoE权重实现高效推理,在GB300上智能体工作负载单用户吞吐达418.9 tok/s,在Rubin上达724.9 tok/s。
AI 推荐理由
vLLM官方详解MiniMax-M3.1-Flash的Day-0支持,涵盖NVFP4量化、稀疏注意力优化及多硬件平台性能数据,为部署提供直接参考。
来源:vLLM 官方博客 · vllm.ai