Databricks CEO谈AI自我改进四条件
@Databricks 的 Ali Ghodsi 阐述了 AI 真正实现自我改进必须满足的四个条件:“下一个模型需要更少的资源、更少的 GPU 来训练……第二个条件:下一个模型的训练时间也更短。第三,模型的准确率,
@Databricks 的 Ali Ghodsi 阐述了 AI 真正实现自我改进必须满足的四个条件:“下一个模型需要更少的资源、更少的 GPU 来训练……第二个条件:下一个模型的训练时间也更短。第三,模型的准确率,
微软宣布完成新一代基础模型 MAI-Base-2 的预训练,称其性能强于所有参测开源权重模型。该模型总参数规模达 2.8T,活跃参数规模 80B,在 6,000 个 NVIDIA GB200 GPU 上历经 38 天训练而成。微软表示其预训练算力效率是 DeepSeek-V4-Pro-Base 的 4~12 倍,并强调了科学规模化、模型-基础设施协同设计和数据规模化三项关键举措。
NVIDIA联合IIT Madras的AI4Bharat实验室推出Nemotron-pretraining-Indic-v1数据集,包含约2.8万亿token,覆盖22种印度语言的原生脚本及12种语言的罗马化文本。
推荐理由:公开了涵盖22种印度语言的2.8万亿token语料及GPU加速生成管线,为多语言模型预训练提供了可复用的合成数据构建方案。
MIT 团队推出基于神经网络的 IRIS 模型,通过识别基因活动“指纹”解码细胞间通信。该模型利用迁移学习实现跨细胞类型预测,无需逐一映射即可重建发育过程中的信号历史。相关成果发表于 Nature Methods,有望加速干细胞工程及类器官研究。
SK 海力士公布基于 3D FeNAND 的模拟存内计算(A-CiM)研究成果,相关论文已发表于 IEEE。该技术利用铁电材料极化状态存储数据,在单个存储单元内产生多种电流状态以执行乘积累加运算,旨在减少数据搬运并提升 AI 计算的能效与速度。
@trillium_labs 的 Nathan Lambert 表示,当他告诉中国 AI 研究人员 OpenAI 拥有多少算力时,他们惊得下巴掉地:“中国实验室技术非常出色。但他们更缺算力。”“毫无疑问,他们拥有相当的人才储备
MIT 研究人员与多方合作开发了一种机器学习模型,专门用于修正现有天气预报系统的误差,从而显著改善两周至六周时间范围内的预测效果。该技术作为“后处理”包装器应用于 ECMWF 黄金标准模型时,使预报准确率翻倍,并在国际预报竞赛中获得第一名。
Modal 团队在 Qwen3.6-35B-A3B 上验证了使用六种不同加速器和精度的混合采样器进行异步强化学习训练的可行性。通过结合掩码重要性采样、分数中心化和 Top-p 掩码重放等离策略校正技术,该方法在保持训练稳定的同时,使采样成本降低约 15%,且在 SWE-bench Pro V2 上的表现与同构采样器相当。
随着公开和合成数据集达到极限,AI 实验室开始通过 SimpleClosure 等中介平台购买倒闭初创公司的代码和工作区数据。SimpleClosure 预计 2026 年底将向初创公司返还超过 $10 million,47% 的交易包含数据销售。
深圳华强表示,受 AI 算力建设驱动,存储芯片供给持续紧张、需求旺盛。虽然上半年价格涨幅巨大,但下半年涨幅预计会收敛,目前供需格局未变。Omdia 数据显示,存储器在 PC 物料成本占比已升至近 40%,预计 2026Q4 PC 市场将同比萎缩 24%。
JEPA是机器了解世界的最佳理念之一,然而,关于其学习到的状态中哪些部分保持不变、哪些部分发生变化,目前仍缺乏深入探索。例如,咖啡杯在明亮的晨光中和昏暗的夜色下看起来是不同的,
Counterpoint Research 指出 HBM 需求放缓的担忧基于错误信息,高堆叠普及趋势将持续。更多 NVIDIA Rubin GPU 转向 12Hi HBM4,ASIC 方案未出现仅 4 层堆叠内存。对 AI XPU 而言,确保带宽和容量比降低成本更为重要。
由 Mark Zuckerberg 和 Priscilla Chan 支持的非营利组织 Biohub 正在协调一项总额 18 亿美元的举措,旨在开发能够预测细胞行为的 AI 模型以加速药物研发。
NVIDIA 团队基于 Nemotron 3 通过监督微调(SFT)、强化学习(RL)和反馈驱动推理,构建了在 IMO 2026 和 IOI 2026 达到金牌水平的专用系统。
推荐理由:原文公开了将 Nemotron 微调至竞赛金牌水平的完整配方,包含 SFT、RL 与推理循环的协同设计细节及开源资源。
MIT 教授 Cathy Wu 应用强化学习解决交通系统复杂优化难题。其团队通过筛选高泛性训练问题,将模型训练效率提升最高 30 倍。最新研究证实智能控速的生态驾驶措施可使车辆排放降低 11% 至 22%,为交通政策制定提供数据支持。
ServiceNow CoreAI 推出 AutoSynthData,旨在将企业智能体在特定环境中的能力差距转化为高质量的合成训练数据。该框架通过分析目标模型的失败模式和教师模型的成功轨迹,生成包含系统规范、用户提示和验证器的新任务,并在执行环境中进行严格验证与修复。
Ai2 发布 Olmo-core 3,这是其大语言模型开发框架的重大升级,包含重新设计的开源混合专家(MoE)训练系统,旨在将 MoE 训练扩展至万亿参数规模并保持计算效率。
我们如何看待保障前沿强化学习(RL)训练运行的安全性:
LangChain 推出 LangSmith Fine-Tuning 和 smithtune CLI,支持将 LangSmith 智能体轨迹转化为监督微调(SFT)数据集并自动完成训练、评估与部署。
推荐理由:提供从 LangSmith 轨迹到微调模型的全流程 CLI,通过实测数据展示其在特定任务上降低延迟与成本的能力。
Google团队使用MaxText框架在Google Cloud TPUs上成功复现了Ai2开发的Olmo 3 7B模型的Stage-1预训练和Stage-2中训练。
推荐理由:文章详细记录了在TPU上复现大模型预训练的过程,揭示了仅看训练损失可能掩盖数据加载器Bug的风险,并提供了跨框架验证的具体方法。
Together AI 发布教程指导用户以约 $17 的成本和 25 分钟时间,基于 Qwen3.5 4B 微调一个类似 Jev 的分类模型。该过程涉及从 Hugging Face 采样 38,000 条多源数据、使用 Together Fine-tuning service 训练以及部署到 dedicated endpoint。
推荐理由:原文提供了基于 Qwen3.5 4B 微调分类模型的完整代码流程与成本细节,读者可据此复现低成本构建专用分类器的方法。
vime 联合 RL-Kernel 在 AMD Instinct MI300X 上实现 Qwen3-8B GRPO 训练与推理的位级数值一致性。该方案通过统一 Megatron 与 vLLM 的数值执行契约,在 200 步连续实验中保持 mismatch_count = 0 且 max_abs_diff = 0。
Google 推出 autofinetune 项目,展示如何利用 AI 智能体在 Cloud TPUs 上自主执行 LLM 后训练(SFT 和 GRPO)。该项目基于 Tunix、Gemma 和 Antigravity CLI,通过定义 `program.md` 约束和 `run.py` 脚本,让智能体自动迭代超参数并提交改进。
Together AI 宣布扩展其微调服务,新增对 GLM-5.3、Kimi K2.7、Qwen 3.8 等最新开源权重的支持,并大幅降低部分模型的训练价格(最高降幅达 70%)。
Goodfire 借助 Ai2 的 Dolci 数据集、Olmo 3 检查点及 OLMES 评测套件,实现预测性数据调试。该方案在完整训练前预判行为变化,并将安全回退追溯至具体偏好样本,支持在不牺牲通用能力的前提下修正模型对齐问题。
新研究:训练一个失准的奖励寻求者 什么会导致严重的失准?我们一直担心,训练过程中的作弊——即所谓的奖励黑客(reward-hacking)——可能会教会模型不择手段地追求奖励。为了大规模研究这一现象,我们训练了一个
深度学习正被应用于天体粒子物理学,以处理 Pierre Auger Observatory、IceCube 等巨型观测站产生的海量数据。这些方法利用 Keras 框架分析纳米级分辨率的波形信号,旨在提升仪器灵敏度并揭示暗物质等宇宙极端现象背后的隐藏模式。
泰国研究团队利用 Ai2 开源工具包 Dolma,构建了包含 470 亿 token 的泰语预训练语料库 Mangosteen。该团队针对泰语特性重构了去重与过滤流程,在移除超过 80% Common Crawl 数据的同时提升了模型性能。实验显示,基于 Mangosteen 训练的 LLM 在泰文化知识评测中表现更强。
METR 研究显示 AI 在网络安全领域显著加速,数学研究略有贡献,但 AI 自身算法优化未见明显提速。SPADE 框架通过自博弈自动生成可执行训练环境,利用 Qwen3-30B-A3B 模型使游戏套件平均分达 58.3,较基线提升 8.1 分。
Georgia Tech 团队基于 Olmo 3、Dolma 3 等五个开源组件,通过影响函数分析训练数据对模型能力的影响。研究发现富含对话和人际情感的文本对社会推理贡献最大,删除文学类高影响力文档导致 SocialIQA 分数显著下降。该成果验证了利用全开源模型追踪能力来源并优化训练数据的可行性。
SkyRL 引入 IsoExec,通过统一执行契约和位级一致内核消除强化学习中训练与推理引擎的不匹配。在单节点 8×H100 上对 Qwen3.5-35B-A3B 进行 DAPO 训练时,平均 logprob 差异降至极低水平,相比基线仅增加 25% 开销。该方案支持 vLLM 和 Megatron,解决了浮点非结合性导致的调试难题。
VeRL-Omni v0.2.0 通过引入请求级批处理和 V1 训练器,将 Qwen-Image FlowGRPO 的生成时间从 226s 降至 108s,GPU 利用率提升至约 100%。该版本还构建了基于可复用适配器、FSDP2 和 vLLM-Omni 的稳定全模态训练栈,支持 SD3.5 Medium 等模型的 LoRA 微调与异步奖励计算。
Ai2 的 infini-gram 引擎通过索引海量语料,证实含大量 AI 生成内容的亚马逊畅销书比纯人工书籍多包含 4.4 个百分点的罕见现有表达。该工具能定位模型输出与训练数据的具体重叠片段,为检测 AI 写作提供超越概率分数的文本证据。
Berkeley AI Research 指出 GPT-4 级推理成本已降至 $1 以下,年降幅中位数近 50x。文章提出数据系统需应对三大挑战:支持 Agent 高并发推测查询、管理大规模 Agent 状态协调、以及验证 Agent 自主合成的自定义数据系统。
三天前,我让 autoresearch 对 depth=12 的 nanochat 模型进行了约 2 天的调优。它发现了约 20 项能改善验证损失的改动。昨天我测试了这些改动,发现它们都是可叠加的,并且能迁移到更大(depth=24)的模型上。将所有这些改动堆叠起来,