vLLM 官方博客· Inferact and the vLLM Team·2026-10-23 08:00· 2 天前精选AI 评分65

vLLM 详解 DeepSeek-V4.1-Flash 大规模服务优化与性能实测

Serving DeepSeek-V4.1-Flash at Scale: vLLM Matches DeepInfer and Scales to GB300 NVL72

AI 导读

vLLM 团队发布技术报告，展示其在 NVIDIA GB300 NVL72 上通过 P/D 分离和 Wide-EP 架构服务 DeepSeek-V4.1-Flash 的性能表现，单 GPU 吞吐量达 954K tokens/s，P90 延迟为 196 tokens/s per user。

AI 推荐理由

vLLM 团队公开了 DeepSeek-V4.1-Flash 在 GB300 NVL72 上的性能实测数据与优化细节，展示了通用引擎如何逼近专用推理引擎的效率。

来源：vLLM 官方博客 · vllm.ai