跳到正文
10月18日周日
10月16日周五
  1. IT之家65

    微软完成 SOTA 基模 MAI-Base-2 预训练,性能强于所有参测开源权重模型

    微软宣布完成新一代基础模型 MAI-Base-2 的预训练,称其性能强于所有参测开源权重模型。该模型总参数规模达 2.8T,活跃参数规模 80B,在 6,000 个 NVIDIA GB200 GPU 上历经 38 天训练而成。微软表示其预训练算力效率是 DeepSeek-V4-Pro-Base 的 4~12 倍,并强调了科学规模化、模型-基础设施协同设计和数据规模化三项关键举措。

  2. Hugging Face Blog60

    NVIDIA与IIT Madras发布2.8万亿Token印度语言预训练语料及开源数据生成管线

    NVIDIA联合IIT Madras的AI4Bharat实验室推出Nemotron-pretraining-Indic-v1数据集,包含约2.8万亿token,覆盖22种印度语言的原生脚本及12种语言的罗马化文本。

    推荐理由:公开了涵盖22种印度语言的2.8万亿token语料及GPU加速生成管线,为多语言模型预训练提供了可复用的合成数据构建方案。

  3. MIT News · AI40

    MIT 团队开发 IRIS 模型解码细胞信号通路

    MIT 团队推出基于神经网络的 IRIS 模型,通过识别基因活动“指纹”解码细胞间通信。该模型利用迁移学习实现跨细胞类型预测,无需逐一映射即可重建发育过程中的信号历史。相关成果发表于 Nature Methods,有望加速干细胞工程及类器官研究。

10月15日周四
10月14日周三
  1. MIT News · AI62

    MIT 等机构联合团队在 Nature 发表新研究:机器学习后处理技术显著提升两至六周天气预报准确率

    MIT 研究人员与多方合作开发了一种机器学习模型,专门用于修正现有天气预报系统的误差,从而显著改善两周至六周时间范围内的预测效果。该技术作为“后处理”包装器应用于 ECMWF 黄金标准模型时,使预报准确率翻倍,并在国际预报竞赛中获得第一名。

  2. Modal 官方工程博客58

    Modal 提出混合精度与异构加速器采样器下的稳定强化学习训练方案

    Modal 团队在 Qwen3.6-35B-A3B 上验证了使用六种不同加速器和精度的混合采样器进行异步强化学习训练的可行性。通过结合掩码重要性采样、分数中心化和 Top-p 掩码重放等离策略校正技术,该方法在保持训练稳定的同时,使采样成本降低约 15%,且在 SWE-bench Pro V2 上的表现与同构采样器相当。

10月13日周二
10月11日周日
  1. Zhuokai Zhao20

    JEPA状态学习稳定性研究

    JEPA是机器了解世界的最佳理念之一,然而,关于其学习到的状态中哪些部分保持不变、哪些部分发生变化,目前仍缺乏深入探索。例如,咖啡杯在明亮的晨光中和昏暗的夜色下看起来是不同的,

10月9日周五
10月8日周四
10月7日周三
10月3日周六
  1. MIT News · AI23

    Cathy Wu 利用强化学习优化交通系统

    MIT 教授 Cathy Wu 应用强化学习解决交通系统复杂优化难题。其团队通过筛选高泛性训练问题,将模型训练效率提升最高 30 倍。最新研究证实智能控速的生态驾驶措施可使车辆排放降低 11% 至 22%,为交通政策制定提供数据支持。

10月2日周五
  1. Hugging Face Blog58

    ServiceNow 发布 AutoSynthData:面向企业智能体的合成训练数据生成框架

    ServiceNow CoreAI 推出 AutoSynthData,旨在将企业智能体在特定环境中的能力差距转化为高质量的合成训练数据。该框架通过分析目标模型的失败模式和教师模型的成功轨迹,生成包含系统规范、用户提示和验证器的新任务,并在执行环境中进行严格验证与修复。

10月1日周四
9月29日周二
9月24日周四
  1. Google Developers Blog63

    Google团队在TPU上使用MaxText复现Olmo 3 7B预训练的案例研究

    Google团队使用MaxText框架在Google Cloud TPUs上成功复现了Ai2开发的Olmo 3 7B模型的Stage-1预训练和Stage-2中训练。

    推荐理由:文章详细记录了在TPU上复现大模型预训练的过程,揭示了仅看训练损失可能掩盖数据加载器Bug的风险,并提供了跨框架验证的具体方法。

9月23日周三
  1. Together AI Blog62

    Together AI 教程:如何以 $17 成本训练自己的 Jev 分类模型

    Together AI 发布教程指导用户以约 $17 的成本和 25 分钟时间,基于 Qwen3.5 4B 微调一个类似 Jev 的分类模型。该过程涉及从 Hugging Face 采样 38,000 条多源数据、使用 Together Fine-tuning service 训练以及部署到 dedicated endpoint。

    推荐理由:原文提供了基于 Qwen3.5 4B 微调分类模型的完整代码流程与成本细节,读者可据此复现低成本构建专用分类器的方法。

9月14日周一
9月11日周五
9月9日周三
9月1日周二
8月27日周四
  1. Google Developers Blog42

    深度学习与 Keras 解码宇宙信号

    深度学习正被应用于天体粒子物理学,以处理 Pierre Auger Observatory、IceCube 等巨型观测站产生的海量数据。这些方法利用 Keras 框架分析纳米级分辨率的波形信号,旨在提升仪器灵敏度并揭示暗物质等宇宙极端现象背后的隐藏模式。

8月26日周三
  1. Ai2 / Allen Institute for AI35

    泰国研究人员如何基于 Dolma 构建 Mangosteen 泰语预训练语料库

    泰国研究团队利用 Ai2 开源工具包 Dolma,构建了包含 470 亿 token 的泰语预训练语料库 Mangosteen。该团队针对泰语特性重构了去重与过滤流程,在移除超过 80% Common Crawl 数据的同时提升了模型性能。实验显示,基于 Mangosteen 训练的 LLM 在泰文化知识评测中表现更强。

8月24日周一
8月21日周五
  1. Ai2 / Allen Institute for AI45

    Georgia Tech 团队利用 Olmo 3 开源栈追溯模型社会推理来源

    Georgia Tech 团队基于 Olmo 3、Dolma 3 等五个开源组件,通过影响函数分析训练数据对模型能力的影响。研究发现富含对话和人际情感的文本对社会推理贡献最大,删除文学类高影响力文档导致 SocialIQA 分数显著下降。该成果验证了利用全开源模型追踪能力来源并优化训练数据的可行性。

  2. vLLM 官方博客39

    SkyRL 推出 IsoExec:消除 RL 训练与推理引擎不匹配

    SkyRL 引入 IsoExec,通过统一执行契约和位级一致内核消除强化学习中训练与推理引擎的不匹配。在单节点 8×H100 上对 Qwen3.5-35B-A3B 进行 DAPO 训练时,平均 logprob 差异降至极低水平,相比基线仅增加 25% 开销。该方案支持 vLLM 和 Megatron,解决了浮点非结合性导致的调试难题。

8月20日周四
7月31日周五
7月7日周二
3月10日周二
  1. Andrej Karpathy45

    Karpathy分享nanochat自动调优成果

    三天前,我让 autoresearch 对 depth=12 的 nanochat 模型进行了约 2 天的调优。它发现了约 20 项能改善验证损失的改动。昨天我测试了这些改动,发现它们都是可叠加的,并且能迁移到更大(depth=24)的模型上。将所有这些改动堆叠起来,