跳到正文
热点事件观察中

vLLM支持NVIDIA Vera Rubin NVL72,第三方实测性能提升显著

4 篇报道3 个报道来源3 天前更新

先了解这件事

AI 综述

vLLM 宣布正式支持 NVIDIA Vera Rubin NVL72 平台。官方称在 AgentX 基准测试中,该平台每 GPU 吞吐量较 GB200 NVL72 提升 7.8 倍。用户可通过 Docker Hub 拉取基于 CUDA 13.4 和 PyTorch 2.15 构建的 nightly 镜像以使用 vLLM。 独立评测机构 Artificial Analysis 发布了 Vera Rubin NVL72 在 AA-AgentPerf 上的初步测试结果。数据显示,该硬件在 DeepSeek V4 Pro 上的每兆瓦总吞吐量约为前代 GB300 NVL72 的 5.7 倍,在 DeepSeek V4.1 Flash 上约为 5.4 倍,在 GLM-5.2 和 Kimi K3 上分别约为 3.0 倍和 2.8 倍。此外,Vera Rubin 在单台 4-GPU 服务器上运行 DeepSeek V4.1 Flash 时达到每用户 906 tok/s,为排行榜最快结果。

AI 根据报道生成 · 3 天前更新

最新进展10月16日 09:18
DeepSeek V4.1 Flash 刷新吞吐纪录

事件进展

2 个进展

  1. 10月16日 09:18 · 2 篇报道
    Vera Rubin NVL72在AA-AgentPerf的初步结果发布
    Artificial Analysis:Artificial Analysis 发布 NVIDIA Vera Rubin NVL72 初步性能结果
  2. 10月9日 08:00 · 1 篇报道
    vLLM 宣布支持 NVIDIA Vera Rubin NVL72
    vLLM 官方博客:vLLM 宣布支持 NVIDIA Vera Rubin NVL72,吞吐量较 GB200 提升 7.8 倍

报道时间线

沿着报道,了解事件的不同侧面。

10月16日
  1. Artificial Analysis
    DeepSeek V4.1 Flash 刷新吞吐纪录

    在 DeepSeek V4.1 Flash 上,Vera Rubin 在每用户约 230 至 350 tok/s 区间内,每兆瓦吞吐量约为 GB300 的 3.4 至 3.6 倍,并在单台 4-GPU 服务器上达到每用户 906 tok/s,这是我们在排行榜上任何模型的最快结果

  2. Artificial Analysis
    Artificial Analysis 发布 NVIDIA Vera Rubin NVL72 初步性能结果

    Artificial Analysis 在 AA-AgentPerf 上发布了 NVIDIA Vera Rubin NVL72 的初步测试结果。数据显示,该硬件在 DeepSeek V4 Pro 上的每兆瓦总吞吐量约为前代 GB300 NVL72 的 ~5.7x,在 DeepSeek V4.1 Flash 上约为 ~5.4x,在 GLM-5.2 和 Kimi K3 上分别约为 ~3.0x 和 ~2.8x。Vera Rubin 是 NVIDIA 的下一代架构产品。

10月13日
  1. IT之家
    英伟达开放 Vera Rubin 机架设计并发布多项 AI 基础设施标准

    英伟达在 OCP 峰会宣布开放 Vera Rubin 机架与计算托架设计,并联合 Cisco、Google 等发布多项 AI 基础设施开放标准。更新后的 MGX 1.2 架构支持最高 250kW 机架部署及盲插式液冷,同时开源 DSX AI Factory 软件组件以加速集群部署。

10月9日
  1. vLLM 官方博客精选
    vLLM 宣布支持 NVIDIA Vera Rubin NVL72,吞吐量较 GB200 提升 7.8 倍

    vLLM 正式宣布支持 NVIDIA Vera Rubin NVL72 平台,在 AgentX 基准测试中实现每 GPU 吞吐量较 GB200 NVL72 提升 7.8 倍。

本事件热度走势

可比范围当前
3
可比范围峰值
810月16日 17:00
近 24 小时变化
-50%

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。