vLLM 官方博客· Itay Alroy (NVIDIA)·· 5 天前精选AI 评分62
vLLM 发布 Elastic EP 近零停机扩缩容方案
Achieving near-zero-downtime scaling in Elastic Expert Parallelism
AI 导读
vLLM 推出基于异步准备和 NIXL EP 的 Elastic Expert Parallelism（Elastic EP）方案，实现近零停机的 GPU 动态扩缩容。
推荐理由
vLLM 通过异步准备和 NIXL EP 将弹性专家并行重配置停机时间降至秒级，为大规模 MoE 模型在线扩缩容提供了低干扰的工程方案。
来源：vLLM 官方博客 · vllm.ai