Modal与vLLM分别发布RL训练稳定性优化方案
先了解这件事
Modal团队验证了混合精度与异构加速器在强化学习（RL）中的稳定训练可行性。该方案在Qwen3.6-35B-A3B模型上，结合掩码重要性采样等离策略校正技术，实现了使用六种不同加速器和精度的异步RL训练。测试显示，该方法使采样成本降低约15%，且在SWE-bench Pro V2基准上的表现与同构采样器相当。 vLLM团队则发布了Bitwise-Consistent RL训练方案，旨在解决DeepSeek-V4等模型的训练推理不一致问题。通过让训练前向直接调用vLLM推理内核并修改逻辑，确保采样token的logprob在训练和推理侧逐位一致。在DeepSeek-V4-Flash实验中，该方法保持91.3%基线吞吐量的同时实现零差异，避免了因数值不一致导致的KL散度飙升和奖励下降。相关流程已封装为Agent Skill开源，并成功迁移至Nemotron混合架构模型。
AI 根据报道生成 · 3 天前更新
事件进展
2 个进展
- 10月14日 08:00 · 1 篇报道vLLM发布训练推理一致性Agent技能及代码vLLM 官方博客：vLLM发布Bitwise-Consistent RL训练方案：解决DeepSeek-V4等模型训练推理不一致问题
- 10月13日 20:00 · 1 篇报道混合精度与混合加速器采样器RL研究Modal 官方工程博客：Modal 提出混合精度与异构加速器采样器下的稳定强化学习训练方案
报道时间线
沿着报道，了解事件的不同侧面。
- vLLM 官方博客精选vLLM发布Bitwise-Consistent RL训练方案：解决DeepSeek-V4等模型训练推理不一致问题
vLLM团队提出一种新方案，通过让训练前向直接调用vLLM推理内核并修改内核逻辑，确保采样token的logprob在训练和推理侧逐位一致（diff=0）。在DeepSeek-V4-Flash实验中，该方法在保持91.3%基线吞吐量的同时实现了零差异，避免了因数值不一致导致的KL散度飙升和奖励下降；该流程已封装为Agent Skill开源，并成功迁移至Nemotron混合架构模型。
- Modal 官方工程博客Modal 提出混合精度与异构加速器采样器下的稳定强化学习训练方案
Modal 团队在 Qwen3.6-35B-A3B 上验证了使用六种不同加速器和精度的混合采样器进行异步强化学习训练的可行性。通过结合掩码重要性采样、分数中心化和 Top-p 掩码重放等离策略校正技术，该方法在保持训练稳定的同时，使采样成本降低约 15%，且在 SWE-bench Pro V2 上的表现与同构采样器相当。
本事件热度走势
- 可比范围当前
- 3
- 可比范围峰值
- 1710月14日 08:00
- 近 24 小时变化
- -70%
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。