NVIDIA与IIT Madras发布2.8万亿Token印度语言预训练语料及开源数据生成管线
NVIDIA联合IIT Madras的AI4Bharat实验室推出Nemotron-pretraining-Indic-v1数据集,包含约2.8万亿token,覆盖22种印度语言的原生脚本及12种语言的罗马化文本。
推荐理由:公开了涵盖22种印度语言的2.8万亿token语料及GPU加速生成管线,为多语言模型预训练提供了可复用的合成数据构建方案。
NVIDIA联合IIT Madras的AI4Bharat实验室推出Nemotron-pretraining-Indic-v1数据集,包含约2.8万亿token,覆盖22种印度语言的原生脚本及12种语言的罗马化文本。
推荐理由:公开了涵盖22种印度语言的2.8万亿token语料及GPU加速生成管线,为多语言模型预训练提供了可复用的合成数据构建方案。
MIT 团队推出基于神经网络的 IRIS 模型,通过识别基因活动“指纹”解码细胞间通信。该模型利用迁移学习实现跨细胞类型预测,无需逐一映射即可重建发育过程中的信号历史。相关成果发表于 Nature Methods,有望加速干细胞工程及类器官研究。
SK 海力士公布基于 3D FeNAND 的模拟存内计算(A-CiM)研究成果,相关论文已发表于 IEEE。该技术利用铁电材料极化状态存储数据,在单个存储单元内产生多种电流状态以执行乘积累加运算,旨在减少数据搬运并提升 AI 计算的能效与速度。
MIT 研究人员与多方合作开发了一种机器学习模型,专门用于修正现有天气预报系统的误差,从而显著改善两周至六周时间范围内的预测效果。该技术作为“后处理”包装器应用于 ECMWF 黄金标准模型时,使预报准确率翻倍,并在国际预报竞赛中获得第一名。
Modal 团队在 Qwen3.6-35B-A3B 上验证了使用六种不同加速器和精度的混合采样器进行异步强化学习训练的可行性。通过结合掩码重要性采样、分数中心化和 Top-p 掩码重放等离策略校正技术,该方法在保持训练稳定的同时,使采样成本降低约 15%,且在 SWE-bench Pro V2 上的表现与同构采样器相当。
NVIDIA 团队基于 Nemotron 3 通过监督微调(SFT)、强化学习(RL)和反馈驱动推理,构建了在 IMO 2026 和 IOI 2026 达到金牌水平的专用系统。
推荐理由:原文公开了将 Nemotron 微调至竞赛金牌水平的完整配方,包含 SFT、RL 与推理循环的协同设计细节及开源资源。
Goodfire 借助 Ai2 的 Dolci 数据集、Olmo 3 检查点及 OLMES 评测套件,实现预测性数据调试。该方案在完整训练前预判行为变化,并将安全回退追溯至具体偏好样本,支持在不牺牲通用能力的前提下修正模型对齐问题。
新研究:训练一个失准的奖励寻求者 什么会导致严重的失准?我们一直担心,训练过程中的作弊——即所谓的奖励黑客(reward-hacking)——可能会教会模型不择手段地追求奖励。为了大规模研究这一现象,我们训练了一个
METR 研究显示 AI 在网络安全领域显著加速,数学研究略有贡献,但 AI 自身算法优化未见明显提速。SPADE 框架通过自博弈自动生成可执行训练环境,利用 Qwen3-30B-A3B 模型使游戏套件平均分达 58.3,较基线提升 8.1 分。
Georgia Tech 团队基于 Olmo 3、Dolma 3 等五个开源组件,通过影响函数分析训练数据对模型能力的影响。研究发现富含对话和人际情感的文本对社会推理贡献最大,删除文学类高影响力文档导致 SocialIQA 分数显著下降。该成果验证了利用全开源模型追踪能力来源并优化训练数据的可行性。
SkyRL 引入 IsoExec,通过统一执行契约和位级一致内核消除强化学习中训练与推理引擎的不匹配。在单节点 8×H100 上对 Qwen3.5-35B-A3B 进行 DAPO 训练时,平均 logprob 差异降至极低水平,相比基线仅增加 25% 开销。该方案支持 vLLM 和 Megatron,解决了浮点非结合性导致的调试难题。
Ai2 的 infini-gram 引擎通过索引海量语料,证实含大量 AI 生成内容的亚马逊畅销书比纯人工书籍多包含 4.4 个百分点的罕见现有表达。该工具能定位模型输出与训练数据的具体重叠片段,为检测 AI 写作提供超越概率分数的文本证据。