vLLM 官方博客· vLLM Team·· 2026-08-06精选AI 评分60
vLLM 官方博客详解 Qwen3.5 在 GB200 上达成 25K TPS/GPU 的优化与复现方法
vLLM Reaches 25K Total TPS/GPU on Qwen3.5
AI 导读
vLLM 团队发布博客，展示如何通过解耦服务模式在 GB200 NVL72 系统上使 Qwen3.5-397B-A17B-NVFP4 模型达到超过 25,000 total TPS/GPU 的性能。
推荐理由
vLLM 团队公开了 Qwen3.5 在 GB200 NVL72 上实现 25K TPS/GPU 的解耦服务配置、关键优化补丁及复现配方，为高性能推理部署提供直接参考。
来源：vLLM 官方博客 · vllm.ai