跳到正文
  1. vLLM 官方博客75

    vLLM发布Bitwise-Consistent RL训练方案:解决DeepSeek-V4等模型训练推理不一致问题

    vLLM团队提出一种新方案,通过让训练前向直接调用vLLM推理内核并修改内核逻辑,确保采样token的logprob在训练和推理侧逐位一致(diff=0)。在DeepSeek-V4-Flash实验中,该方法在保持91.3%基线吞吐量的同时实现了零差异,避免了因数值不一致导致的KL散度飙升和奖励下降;该流程已封装为Agent Skill开源,并成功迁移至Nemotron混合架构模型。

    推荐理由:原文提供了在高性能推理引擎上实现训练与推理数值完全一致的具体方法、代码及Agent技能包,为RL训练稳定性优化提供了可复用的工程路径。

  1. Hugging Face Blog80

    使用 Hugging Face ML Intern 低成本定制训练专用模型的实践指南

    作者通过 Hugging Face 的 ML Intern 智能体,以总计约 USD 103 的计算成本成功训练了六个专用小型模型,包括柑橘病害识别 VLM、角色 LoRA 及端侧文本重写器等。文章详细分享了关键提示词技巧,如设定严格预算上限、要求基线对比以及执行小规模冒烟测试,并公开了所有示例代码与数据集链接供社区复用。

    推荐理由:作者展示了利用 ML Intern 在低预算下定制训练多个专用小模型的具体提示词策略与成本数据,为个人开发者提供了可复用的低成本模型构建路径。

  1. vLLM 官方博客65

    vLLM 团队详解如何在 GB300 NVL72 上训练 Kimi-K3 最快的 DSpark 推测解码模型

    vLLM 团队利用 Speculators 库在 GB300 NVL72 集群上成功训练了 Kimi-K3 的 DSpark 推测解码模型,将单流数学推理速度从约 110 tok/s 提升至约 435 tok/s。

    推荐理由:原文详细拆解了基于GB300集群训练Kimi K3 DSpark草稿模型的全流程,提供了从数据提取到多节点部署的完整技术路径。

  1. Together AI Blog68

    Together AI 解析开源 AI 技术栈的五大核心组件

    Together AI 发布指南详解开发者转向开源模型所需的五层技术栈:模型、推理、网关、Harness 和工具。文章对比了 Kimi K3 等大模型与 GLM 5.3 Flash 等小模型的适用场景,并介绍了通过 OpenRouter 或 LiteLLM 实现灵活路由的方法。

    推荐理由:原文拆解了从模型到工具的五层架构,为开发者提供了将闭源工作流迁移至开源栈的具体选型思路。

  1. Ai2 / Allen Institute for AI73

    Ai2 分享 MolmoAct 2 在机器人领域的开放价值

    Ai2 发布文章阐述 MolmoAct 2 如何推动机器人领域开放模型发展。LiveKit 工程师 Binh Pham 在黑客松中使用该模型构建语音控制机器人,指出其具备良好空间感知能力且能执行未专门训练的任务。Pham 认为这是机器人领域的 GPT-2 时刻,强调提供权重、数据和代码的完整开放对复现和定制至关重要。

    推荐理由:通过开发者实测案例,具体展示了开放模型在机器人任务泛化上的实际表现与社区价值。

已经到底了