vLLM 官方博客· Inferact and Recursive·· 19 小时前精选AI 评分68
vLLM 发布对 Recursive Flint 模型的 Day-0 支持
Day-0 Support for Flint on vLLM
AI 导读
vLLM 宣布从第一天起支持 Recursive 发布的 Flint 模型，其 NVFP4 和 BF16 检查点均可在单 GPU 上运行。Flint 是一个拥有 40B 参数的 MoE 模型，每 token 仅激活约 2.5B 参数，支持 262K 上下文窗口。
AI 推荐理由
vLLM 官方提供了 Flint 模型的 Day-0 支持及 Docker 镜像，详细展示了在 GB200 上针对小批量解码的特定内核优化与性能数据。
来源：vLLM 官方博客 · vllm.ai