vLLM 官方博客· Itay Alroy (NVIDIA)·· 23 小时前AI 评分68
vLLM 发布 Elastic Expert Parallelism 近零停机扩缩容方案
Achieving near-zero-downtime scaling in Elastic Expert Parallelism
AI 导读
vLLM 推出基于异步准备和 NIXL EP 的弹性专家并行（Elastic EP）功能，实现 DeepSeek V4 Pro 等模型在 GB200 GPU 集群上的近零停机动态扩缩容。
来源：vLLM 官方博客 · vllm.ai