NVIDIA与IIT Madras发布2.8万亿Token印度语言预训练语料及开源数据生成管线
NVIDIA联合IIT Madras的AI4Bharat实验室推出Nemotron-pretraining-Indic-v1数据集，包含约2.8万亿token，覆盖22种印度语言的原生脚本及12种语言的罗马化文本。
推荐理由：公开了涵盖22种印度语言的2.8万亿token语料及GPU加速生成管线，为多语言模型预训练提供了可复用的合成数据构建方案。
技术方向
数据与训练 最新动态
训练侧的门道：数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
5 条精选近 30 天 5 条共收录 35 条
更新
数据与训练的精选
Hugging Face Blog精选AI 评分6060
Hugging Face Blog精选AI 评分6565 NVIDIA 发布 Nemotron 微调 IOI 和 IMO 金牌模型的研究成果
NVIDIA 团队基于 Nemotron 3 通过监督微调（SFT）、强化学习（RL）和反馈驱动推理，构建了在 IMO 2026 和 IOI 2026 达到金牌水平的专用系统。
推荐理由：原文公开了将 Nemotron 微调至竞赛金牌水平的完整配方，包含 SFT、RL 与推理循环的协同设计细节及开源资源。
LangChain Blog精选AI 评分7878 LangChain 发布 LangSmith Fine-Tuning 及 smithtune CLI
LangChain 推出 LangSmith Fine-Tuning 和 smithtune CLI，支持将 LangSmith 智能体轨迹转化为监督微调（SFT）数据集并自动完成训练、评估与部署。
推荐理由：提供从 LangSmith 轨迹到微调模型的全流程 CLI，通过实测数据展示其在特定任务上降低延迟与成本的能力。
Google Developers Blog精选AI 评分6363 Google团队在TPU上使用MaxText复现Olmo 3 7B预训练的案例研究
Google团队使用MaxText框架在Google Cloud TPUs上成功复现了Ai2开发的Olmo 3 7B模型的Stage-1预训练和Stage-2中训练。
推荐理由：文章详细记录了在TPU上复现大模型预训练的过程，揭示了仅看训练损失可能掩盖数据加载器Bug的风险，并提供了跨框架验证的具体方法。
Together AI Blog精选AI 评分6262 Together AI 教程：如何以 $17 成本训练自己的 Jev 分类模型
Together AI 发布教程指导用户以约 $17 的成本和 25 分钟时间，基于 Qwen3.5 4B 微调一个类似 Jev 的分类模型。该过程涉及从 Hugging Face 采样 38,000 条多源数据、使用 Together Fine-tuning service 训练以及部署到 dedicated endpoint。
推荐理由：原文提供了基于 Qwen3.5 4B 微调分类模型的完整代码流程与成本细节，读者可据此复现低成本构建专用分类器的方法。