跳到正文
10月16日周五
  1. Artificial Analysis53

    Artificial Analysis 发布 NVIDIA Vera Rubin NVL72 初步性能结果

    Artificial Analysis 在 AA-AgentPerf 上发布了 NVIDIA Vera Rubin NVL72 的初步测试结果。数据显示,该硬件在 DeepSeek V4 Pro 上的每兆瓦总吞吐量约为前代 GB300 NVL72 的 ~5.7x,在 DeepSeek V4.1 Flash 上约为 ~5.4x,在 GLM-5.2 和 Kimi K3 上分别约为 ~3.0x 和 ~2.8x。Vera Rubin 是 NVIDIA 的下一代架构产品。

10月15日周四
  1. vLLM 官方博客75

    vLLM发布Bitwise-Consistent RL训练方案:解决DeepSeek-V4等模型训练推理不一致问题

    vLLM团队提出一种新方案,通过让训练前向直接调用vLLM推理内核并修改内核逻辑,确保采样token的logprob在训练和推理侧逐位一致(diff=0)。在DeepSeek-V4-Flash实验中,该方法在保持91.3%基线吞吐量的同时实现了零差异,避免了因数值不一致导致的KL散度飙升和奖励下降;该流程已封装为Agent Skill开源,并成功迁移至Nemotron混合架构模型。

    推荐理由:原文提供了在高性能推理引擎上实现训练与推理数值完全一致的具体方法、代码及Agent技能包,为RL训练稳定性优化提供了可复用的工程路径。

  2. Artificial Analysis38

    MI355X在DeepSeek V4 Pro性能领先

    MI355X 在 DeepSeek V4 Pro 0813 上表现最强。在每用户 35 至 75 tok/s 区间,其每兆瓦吞吐量比 B200 高约 15% 到 40%,峰值达每兆瓦 94M tokens/s(对应每用户 33 tok/s),此水平 B200 需降至每用户 13 tok/s 才能达到。当每用户速度超过约 80 tok/s 时,B200

  3. Artificial Analysis28

    AA-AgentPerf新增AMD MI355X测试

    除了新的 DeepSeek V4.1 Flash 结果外,我们还在 AA-AgentPerf 中为 Kimi K3、GLM-5.2/5.3 和 DeepSeek V4 Pro 添加了 AMD 的 MI355X - 将其与我们在编码智能体工作负载上最新的 NVIDIA 系统结果进行比较。AA-AgentPerf 是我们的智能体推理性能

10月14日周三
  1. Artificial Analysis38

    DeepSeek V4.1 Flash 基准测试结果

    我们已将 DeepSeek V4.1 Flash 添加到 AA-AgentPerf,并提供了 NVIDIA 和 AMD 硬件的测试结果。在每用户 100 tokens/s 的条件下,NVIDIA GB300 以高达 261M tokens/s per MW 的吞吐量位居第一。AA-AgentPerf 是我们的智能体推理性能基准测试。它重放真实的智能

10月8日周四
  1. DeepLearning.AI42

    DeepSeek优化智能体记忆缓存

    智能体读取多于写入,因此DeepSeek缩减了其记忆内容。请阅读本周《The Batch》中的技术解析。每 token 890 字节缓存,比 DeepSeek-V1 小 437 倍;输入从 4K 到 1M,每输出 token 计算量增加 25%;Flash 胜出

  2. vLLM 官方博客82

    vLLM 发布 DeepSeek-V4.1-Flash 优化指南:通过 SWA 重放与内核融合实现 5 倍智能体吞吐

    Inferact 和 vLLM 团队在 DeepSeek-V4.1-Flash 发布后三周内完成深度优化,在 SemiAnalysis AgentX 基准测试中实现了低并发下 1.9 倍加速及高吞吐约束下 5.3 倍的吞吐量提升。

    推荐理由:vLLM 团队详细拆解了针对 DeepSeek-V4.1-Flash 的 SWA 有界重放与内核融合优化路径,展示了如何通过系统级调优实现智能体场景下 5 倍吞吐提升的具体工程方法。

10月2日周五
  1. Hugging Face Blog68

    Ai2 开源 AstaBrief:基于 Qwen3-8B 的快速科学报告生成模型

    Ai2 开源了用于科学文献综述生成的模型 AstaBrief 及配套训练数据。该模型基于 Qwen3-8B,通过监督微调(SFT)和直接偏好优化(DPO)构建,重点利用引用密度等统计信号过滤合成数据以提升证据接地能力。

    推荐理由:原文公开了基于 Qwen3-8B 微调的科研报告生成模型 AstaBrief 及其训练数据,展示了通过优化 SFT 和 DPO 数据质量在保持引用准确性的同时实现约 3.5 倍推理加速的工程路径。

  2. Ai2 / Allen Institute for AI68

    Ai2 开源 AstaBrief 8B:用于快速生成带引用科学报告的模型

    Ai2 开源了基于 Qwen3-8B 微调的 AstaBrief 8B 模型,专门用于将研究问题和检索到的文献片段转化为带引用的科学报告。该模型在 Asta 平台作为 Fast mode 上线,相比 Claude 驱动的 Thinking mode,平均生成时间从 178.5 秒降至 51.1 秒,速度提升约 3.5 倍。

    推荐理由:原文展示了通过优化数据过滤而非复杂算法,使小模型在科学报告生成中实现显著提速并开源权重,为本地化部署提供低成本方案。

9月16日周三
  1. OpenRouter Announcements52

    OpenRouter 解析 DeepSeek V4 系列视觉能力及图像处理方案

    OpenRouter 指南指出 DeepSeek V4 并非单一模型,仅 V4.1 Flash 和 V4 Flash Vision Exp 支持原生图像输入,其余版本均为纯文本模型。针对不支持图像的 V4 Pro 等版本,文章演示了通过前置 Qwen3.8 或 Kimi K3 等视觉模型生成文本描述再传入 V4 的替代方案,并提供了相应的 TypeScript SDK 调用示例。

9月15日周二
  1. vLLM 官方博客65

    vLLM 团队详解如何在 GB300 NVL72 上训练 Kimi-K3 最快的 DSpark 推测解码模型

    vLLM 团队利用 Speculators 库在 GB300 NVL72 集群上成功训练了 Kimi-K3 的 DSpark 推测解码模型,将单流数学推理速度从约 110 tok/s 提升至约 435 tok/s。

    推荐理由:原文详细拆解了基于GB300集群训练Kimi K3 DSpark草稿模型的全流程,提供了从数据提取到多节点部署的完整技术路径。

9月8日周二
  1. vLLM 官方博客80

    vLLM 解析智能体服务的全栈优化与 AgentX 基准实测

    vLLM 团队联合 Inferact 发布技术博客,针对智能体工作负载的多轮会话、长上下文和高前缀复用特性,阐述了涵盖 KV 缓存管理、并行策略及 P/D 分离的全栈优化方案。

    推荐理由:原文详细拆解了智能体负载下的全栈优化策略,并提供了基于公开基准的实测数据与失败经验复盘。

8月17日周一
8月7日周五