vLLM 官方博客· Yan Bai (NVIDIA DevTech), Ao Shen (Inferact)·· 5 天前精选AI 评分75
vLLM发布Bitwise-Consistent RL训练方案：解决DeepSeek-V4等模型训练推理不一致问题
Finish RL Training Faster: Bitwise-Consistent, High-Performance, Agent-Driven
AI 导读
vLLM团队提出一种新方案，通过让训练前向直接调用vLLM推理内核并修改内核逻辑，确保采样token的logprob在训练和推理侧逐位一致（diff=0）。在DeepSeek-V4-Flash实验中，该方法在保持91.3%基线吞吐量的同时实现了零差异，避免了因数值不一致导致的KL散度飙升和奖励下降；该流程已封装为Agent Skill开源，并成功迁移至Nemotron混合架构模型。
推荐理由
原文提供了在高性能推理引擎上实现训练与推理数值完全一致的具体方法、代码及Agent技能包，为RL训练稳定性优化提供了可复用的工程路径。
来源：vLLM 官方博客 · vllm.ai