Modal 提出混合精度与异构加速器采样器下的稳定强化学习训练方案

Modal 团队在 Qwen3.6-35B-A3B 上验证了使用六种不同加速器和精度的混合采样器进行异步强化学习训练的可行性。通过结合掩码重要性采样、分数中心化和 Top-p 掩码重放等离策略校正技术，该方法在保持训练稳定的同时，使采样成本降低约 15%，且在 SWE-bench Pro V2 上的表现与同构采样器相当。