跳到正文
  1. vLLM 官方博客75

    vLLM发布Bitwise-Consistent RL训练方案:解决DeepSeek-V4等模型训练推理不一致问题

    vLLM团队提出一种新方案,通过让训练前向直接调用vLLM推理内核并修改内核逻辑,确保采样token的logprob在训练和推理侧逐位一致(diff=0)。在DeepSeek-V4-Flash实验中,该方法在保持91.3%基线吞吐量的同时实现了零差异,避免了因数值不一致导致的KL散度飙升和奖励下降;该流程已封装为Agent Skill开源,并成功迁移至Nemotron混合架构模型。

    推荐理由:原文提供了在高性能推理引擎上实现训练与推理数值完全一致的具体方法、代码及Agent技能包,为RL训练稳定性优化提供了可复用的工程路径。

  1. vLLM 官方博客82

    vLLM 发布 DeepSeek-V4.1-Flash 优化指南:通过 SWA 重放与内核融合实现 5 倍智能体吞吐

    Inferact 和 vLLM 团队在 DeepSeek-V4.1-Flash 发布后三周内完成深度优化,在 SemiAnalysis AgentX 基准测试中实现了低并发下 1.9 倍加速及高吞吐约束下 5.3 倍的吞吐量提升。

    推荐理由:vLLM 团队详细拆解了针对 DeepSeek-V4.1-Flash 的 SWA 有界重放与内核融合优化路径,展示了如何通过系统级调优实现智能体场景下 5 倍吞吐提升的具体工程方法。

  1. vLLM 官方博客65

    vLLM 团队详解如何在 GB300 NVL72 上训练 Kimi-K3 最快的 DSpark 推测解码模型

    vLLM 团队利用 Speculators 库在 GB300 NVL72 集群上成功训练了 Kimi-K3 的 DSpark 推测解码模型,将单流数学推理速度从约 110 tok/s 提升至约 435 tok/s。

    推荐理由:原文详细拆解了基于GB300集群训练Kimi K3 DSpark草稿模型的全流程,提供了从数据提取到多节点部署的完整技术路径。

  1. vLLM 官方博客80

    vLLM 解析智能体服务的全栈优化与 AgentX 基准实测

    vLLM 团队联合 Inferact 发布技术博客,针对智能体工作负载的多轮会话、长上下文和高前缀复用特性,阐述了涵盖 KV 缓存管理、并行策略及 P/D 分离的全栈优化方案。

    推荐理由:原文详细拆解了智能体负载下的全栈优化策略,并提供了基于公开基准的实测数据与失败经验复盘。

已经到底了