vLLM 官方博客· vLLM-Omni Diffusion Team·· 2026-08-17精选AI 评分68
vLLM-Omni 发布分布式逐层卸载方案以支持 200B+ DiT 模型
Distributed Layerwise Offload: Scaling Toward 200B+ DiT Models Efficiently in vLLM-Omni
AI 导读
vLLM-Omni 推出 Distributed Layerwise Offload (DLO) 技术，使超过单设备 HBM 容量的视频生成模型（如 Cosmos3-Super 124 GB）能在多 GPU/NPU 上高效运行。
推荐理由
原文提供了在 vLLM-Omni 中运行超大 DiT 模型的具体配置命令与内存优化机制，适合需要解决显存瓶颈的工程人员参考。
来源：vLLM 官方博客 · vllm.ai