NVIDIA与IIT Madras发布2.8万亿Token印度语言预训练语料及开源数据生成管线
NVIDIA联合IIT Madras的AI4Bharat实验室推出Nemotron-pretraining-Indic-v1数据集,包含约2.8万亿token,覆盖22种印度语言的原生脚本及12种语言的罗马化文本。
推荐理由:公开了涵盖22种印度语言的2.8万亿token语料及GPU加速生成管线,为多语言模型预训练提供了可复用的合成数据构建方案。
NVIDIA联合IIT Madras的AI4Bharat实验室推出Nemotron-pretraining-Indic-v1数据集,包含约2.8万亿token,覆盖22种印度语言的原生脚本及12种语言的罗马化文本。
推荐理由:公开了涵盖22种印度语言的2.8万亿token语料及GPU加速生成管线,为多语言模型预训练提供了可复用的合成数据构建方案。
NVIDIA 团队基于 Nemotron 3 通过监督微调(SFT)、强化学习(RL)和反馈驱动推理,构建了在 IMO 2026 和 IOI 2026 达到金牌水平的专用系统。
推荐理由:原文公开了将 Nemotron 微调至竞赛金牌水平的完整配方,包含 SFT、RL 与推理循环的协同设计细节及开源资源。
LangChain 推出 LangSmith Fine-Tuning 和 smithtune CLI,支持将 LangSmith 智能体轨迹转化为监督微调(SFT)数据集并自动完成训练、评估与部署。
推荐理由:提供从 LangSmith 轨迹到微调模型的全流程 CLI,通过实测数据展示其在特定任务上降低延迟与成本的能力。
Google团队使用MaxText框架在Google Cloud TPUs上成功复现了Ai2开发的Olmo 3 7B模型的Stage-1预训练和Stage-2中训练。
推荐理由:文章详细记录了在TPU上复现大模型预训练的过程,揭示了仅看训练损失可能掩盖数据加载器Bug的风险,并提供了跨框架验证的具体方法。
Together AI 发布教程指导用户以约 $17 的成本和 25 分钟时间,基于 Qwen3.5 4B 微调一个类似 Jev 的分类模型。该过程涉及从 Hugging Face 采样 38,000 条多源数据、使用 Together Fine-tuning service 训练以及部署到 dedicated endpoint。
推荐理由:原文提供了基于 Qwen3.5 4B 微调分类模型的完整代码流程与成本细节,读者可据此复现低成本构建专用分类器的方法。