跳到正文
  1. vLLM 官方博客75

    vLLM发布Bitwise-Consistent RL训练方案:解决DeepSeek-V4等模型训练推理不一致问题

    vLLM团队提出一种新方案,通过让训练前向直接调用vLLM推理内核并修改内核逻辑,确保采样token的logprob在训练和推理侧逐位一致(diff=0)。在DeepSeek-V4-Flash实验中,该方法在保持91.3%基线吞吐量的同时实现了零差异,避免了因数值不一致导致的KL散度飙升和奖励下降;该流程已封装为Agent Skill开源,并成功迁移至Nemotron混合架构模型。

    推荐理由:原文提供了在高性能推理引擎上实现训练与推理数值完全一致的具体方法、代码及Agent技能包,为RL训练稳定性优化提供了可复用的工程路径。

  1. vLLM 官方博客82

    vLLM 发布 DeepSeek-V4.1-Flash 优化指南:通过 SWA 重放与内核融合实现 5 倍智能体吞吐

    Inferact 和 vLLM 团队在 DeepSeek-V4.1-Flash 发布后三周内完成深度优化,在 SemiAnalysis AgentX 基准测试中实现了低并发下 1.9 倍加速及高吞吐约束下 5.3 倍的吞吐量提升。

    推荐理由:vLLM 团队详细拆解了针对 DeepSeek-V4.1-Flash 的 SWA 有界重放与内核融合优化路径,展示了如何通过系统级调优实现智能体场景下 5 倍吞吐提升的具体工程方法。

  1. Hugging Face Blog68

    Ai2 开源 AstaBrief:基于 Qwen3-8B 的快速科学报告生成模型

    Ai2 开源了用于科学文献综述生成的模型 AstaBrief 及配套训练数据。该模型基于 Qwen3-8B,通过监督微调(SFT)和直接偏好优化(DPO)构建,重点利用引用密度等统计信号过滤合成数据以提升证据接地能力。

    推荐理由:原文公开了基于 Qwen3-8B 微调的科研报告生成模型 AstaBrief 及其训练数据,展示了通过优化 SFT 和 DPO 数据质量在保持引用准确性的同时实现约 3.5 倍推理加速的工程路径。

  2. Ai2 / Allen Institute for AI68

    Ai2 开源 AstaBrief 8B:用于快速生成带引用科学报告的模型

    Ai2 开源了基于 Qwen3-8B 微调的 AstaBrief 8B 模型,专门用于将研究问题和检索到的文献片段转化为带引用的科学报告。该模型在 Asta 平台作为 Fast mode 上线,相比 Claude 驱动的 Thinking mode,平均生成时间从 178.5 秒降至 51.1 秒,速度提升约 3.5 倍。

    推荐理由:原文展示了通过优化数据过滤而非复杂算法,使小模型在科学报告生成中实现显著提速并开源权重,为本地化部署提供低成本方案。

  1. vLLM 官方博客65

    vLLM 团队详解如何在 GB300 NVL72 上训练 Kimi-K3 最快的 DSpark 推测解码模型

    vLLM 团队利用 Speculators 库在 GB300 NVL72 集群上成功训练了 Kimi-K3 的 DSpark 推测解码模型,将单流数学推理速度从约 110 tok/s 提升至约 435 tok/s。

    推荐理由:原文详细拆解了基于GB300集群训练Kimi K3 DSpark草稿模型的全流程,提供了从数据提取到多节点部署的完整技术路径。

  1. vLLM 官方博客80

    vLLM 解析智能体服务的全栈优化与 AgentX 基准实测

    vLLM 团队联合 Inferact 发布技术博客,针对智能体工作负载的多轮会话、长上下文和高前缀复用特性,阐述了涵盖 KV 缓存管理、并行策略及 P/D 分离的全栈优化方案。

    推荐理由:原文详细拆解了智能体负载下的全栈优化策略,并提供了基于公开基准的实测数据与失败经验复盘。

已经到底了