vLLM发布近零停机弹性专家并行功能
热点事件持续更新
vLLM发布近零停机弹性专家并行功能
1 篇报道1 个报道来源23 小时前更新
先了解这件事
AI 综述
NVIDIA/vLLM团队在最新版本的vLLM和NIXL中发布了支持近零停机的Elastic Expert Parallelism（弹性专家并行）功能。该方案通过异步准备、CUDA图复用及加入工作节点的独立图捕获技术，实现了DeepSeek V4 Pro等模型在GB200 GPU集群上的动态扩缩容。 目前，背景准备、CUDA图复用以及新加入工作节点的独立图捕获功能已在最新的vLLM和NIXL版本中可用。
AI 根据报道生成 · 55 分钟前更新
最新进展10月19日 08:00
vLLM 发布 Elastic Expert Parallelism 近零停机扩缩容方案报道时间线
沿着报道，了解事件的不同侧面。
10月19日
- vLLM 官方博客vLLM 发布 Elastic Expert Parallelism 近零停机扩缩容方案
vLLM 推出基于异步准备和 NIXL EP 的弹性专家并行（Elastic EP）功能，实现 DeepSeek V4 Pro 等模型在 GB200 GPU 集群上的近零停机动态扩缩容。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。