英伟达优化 Kimi K3 模型推理速度,提升 1.68 倍
英伟达通过上游 vLLM 优化,使 2.8 万亿参数量的 Kimi K3 模型在 GB300 NVL72 硬件上实现 423 tok/s/user 的推理速度,性能提升 1.68 倍。该优化由 CentML 工程师完成,核心在于使用 Cute DSL 编写包含 1.2 万行代码的解码专用 Megakernel。此外,英伟达也在为 DeepSeek V4.1 等其他模型开发类似优化。
英伟达通过上游 vLLM 优化,使 2.8 万亿参数量的 Kimi K3 模型在 GB300 NVL72 硬件上实现 423 tok/s/user 的推理速度,性能提升 1.68 倍。该优化由 CentML 工程师完成,核心在于使用 Cute DSL 编写包含 1.2 万行代码的解码专用 Megakernel。此外,英伟达也在为 DeepSeek V4.1 等其他模型开发类似优化。
Anthropic的AI模型Claude在不到30分钟内解开了困扰业界25年的NSA椭圆曲线数字签名标准(ECDSA)种子生成之谜。该谜题源于2000年NIST标准化时NSA提供的无解释种子值,曾引发后门担忧。
开发者 abhi245y 基于 PS5LM 项目推出原生 GPU 应用 PS5LM Plus,使破解后的索尼 PS5 能利用 AMD RADV 驱动和 Vulkan 接口在本地运行大语言模型。
vLLM 官方博客发布 Kimi K3 的深度优化方案,通过 Agent 辅助开发构建统一 CuTe DSL decode 路径,在 16 张 NVIDIA GB300 GPU 上实现 batch 1 超过 840 tokens/s 的解码速度。
推荐理由:原文详细拆解了 Kimi K3 在 vLLM 中的底层优化逻辑与性能数据,并提出了平衡开发速度与稳定性的维护框架。
来自我们的 STEM Fellow 项目的新成果:利用 Claude 设计更高效的量子电路。根据自然语言指令,Claude Mythos 5 设计的量子电路优于已发表的最佳方案,有时提升幅度达一个数量级或更多。更高效的电路
Liquid AI 发布了 d1-ultra,在 Artificial Analysis Decision Index v1.0 中占据第 1 位,得益于幻觉率的降低。d1-ultra 是 @liquidai 推出的新决策模型,继本月早些时候发布 d1 之后推出。其定价为 $0.042
AI 初创公司 Elorian 发布了首个模型 Glimpse,目前以研究预览形式提供 API 访问。该模型引入“视觉草稿空间”机制,允许在推理过程中裁剪图像区域、提取视频帧或运行代码来直接分析视觉内容,而非仅将图像转换为文本后处理。
Google DeepMind 的 Gemini 4 Argon 在 ARC-AGI-3 基准测试中使用 Provider Adapter Harness 获得 97.5% 的分数,成为继 OpenAI 之后第二家突破 95% 的 AI 实验室。
推荐理由:原文对比了不同测试环境下的分数差异,并指出模型在数学和软件工程领域的相对短板。
vLLM 宣布从 Day 0 支持 Reflection 的 501B 参数 MoE 模型 Beam,并在 NVIDIA Blackwell 上完成优化。通过编码智能体自主优化,该实现使 batch-1 解码速度提升 2.71 倍,预填充速度提升 1.87 倍。
推荐理由:vLLM 官方展示了 Reflection Beam 模型的 Day 0 支持细节,包括智能体自动优化带来的显著性能提升和 DFlash2 投机解码配置,为大规模 MoE 模型的高效部署提供了具体参考。
在 DeepSeek V4.1 Flash 上,Vera Rubin 在每用户约 230 至 350 tok/s 区间内,每兆瓦吞吐量约为 GB300 的 3.4 至 3.6 倍,并在单台 4-GPU 服务器上达到每用户 906 tok/s,这是我们在排行榜上任何模型的最快结果
这篇论文解释了我为何怀疑“前沿模型可轻易被更便宜的模型取代”这一观点(以及为何应使用最佳模型作为编排者):准确率和判断力的微小提升会在长周期任务中产生复利效应,从而带来结果的巨大增益。
谷歌联合创始人谢尔盖·布林表示,Gemini 模型正迈向“自我改进”的关键时刻,AI 已开始参与打造下一代模型。他提到公司正踏上 RSI(递归自我改进)的跑步机,Flash 系列模型已显示这一趋势。谷歌在 Gemini 4 Argon 的安全报告中披露,AI 智能体可承担大部分生产代码编写和漏洞修复工作,但代码变更提交前仍须经过人工审核。
Liquid AI 在 TypeSafe AI 发布 Jev 1.14 预览版仅一天后推出 d1-ultra 决策模型。d1-ultra 号称全球最佳,在八类任务中表现均优于 Jev 1.14,整体性能也超过 vLLM Semantic Router d3 等竞品。
vLLM 官方博客发布技术复盘,详述如何通过六项核心优化使 Kimi K3 在八卡 AMD Instinct MI355X 系统上的每 GPU 吞吐量超越 NVIDIA HGX B300 24.4%,并在成本模型下实现每美元多产出 87.4% 的 token。文章深入解析了 DCP8 缓存分片、MoE 去重计算、KDA 状态并行化及 MLA 长上下文解码加速等具体工程决策与基准测试数据。
推荐理由:文章拆解了 Kimi K3 在 AMD MI355X 上的六项关键优化,提供了从缓存复用到内核融合的具体工程思路。
Apertus 1.5 在 8B 和 70B 版本中新增图像与音频理解、可选思考模式,并将上下文窗口扩展至 262,144 tokens。该模型基于 Apertus 1.0 进行持续预训练,采用早期融合架构处理多模态数据,并在指令遵循与工具调用能力上有所提升。项目以 Apache 2.0 许可证开源权重、数据及训练细节,同时发布了符合 EEE 标准的评估卡片以增强透明度。
推荐理由:Apertus 1.5 通过持续预训练引入原生多模态与思考模式,并公开全链路训练细节,为复现和评估提供了完整依据。
vLLM团队提出一种新方案,通过让训练前向直接调用vLLM推理内核并修改内核逻辑,确保采样token的logprob在训练和推理侧逐位一致(diff=0)。在DeepSeek-V4-Flash实验中,该方法在保持91.3%基线吞吐量的同时实现了零差异,避免了因数值不一致导致的KL散度飙升和奖励下降;该流程已封装为Agent Skill开源,并成功迁移至Nemotron混合架构模型。
推荐理由:原文提供了在高性能推理引擎上实现训练与推理数值完全一致的具体方法、代码及Agent技能包,为RL训练稳定性优化提供了可复用的工程路径。
上海人工智能实验室团队依托书生科学多模态大模型 S2(书生-S2),通过人机协同完成了困扰数学界 30 余年的三维 Ghys 猜想证明。北京大学董彬教授、刘若川院士团队利用 SHEAF 框架对证明进行了形式化验证,确认其正确性。
推荐理由:原文展示了大模型在解决困扰学界30年的数学猜想中的具体应用路径及形式化验证结果,为评估AI在基础科学领域的推理能力提供了实证案例。
MI355X 在 DeepSeek V4 Pro 0813 上表现最强。在每用户 35 至 75 tok/s 区间,其每兆瓦吞吐量比 B200 高约 15% 到 40%,峰值达每兆瓦 94M tokens/s(对应每用户 33 tok/s),此水平 B200 需降至每用户 13 tok/s 才能达到。当每用户速度超过约 80 tok/s 时,B200
vLLM 通过在线拟合估计器实现无置信度头模型的自适应验证,利用草稿模型 logits 预测接受概率以裁剪低置信 token。该功能在 PR #52228 中落地,支持 EAGLE、MTP 等现有检查点直接启用 `enable_adaptive_verification`,无需重新训练即可节省计算开销。
英特尔发布 Intel Inference Microservices,一套基于 vLLM 引擎的容器化大语言模型推理方案。该服务支持第四至第六代至强处理器,启动时自动检测硬件型号并应用预验证配置,通过 OpenAI 兼容 API 提供 BF16 精度推理。此举旨在简化手动调优流程,未来计划扩展至英特尔 GPU 平台,保持接口统一。
我们已将 DeepSeek V4.1 Flash 添加到 AA-AgentPerf,并提供了 NVIDIA 和 AMD 硬件的测试结果。在每用户 100 tokens/s 的条件下,NVIDIA GB300 以高达 261M tokens/s per MW 的吞吐量位居第一。AA-AgentPerf 是我们的智能体推理性能基准测试。它重放真实的智能
AMD CEO 苏姿丰在开放计算项目全球峰会指出,2026 年是真正的“AI 推理之年”,预计 AI 推理将占据约 60% 的市场份额。随着智能体 AI 兴起,CPU 需求爆发式增长,AMD 预计未来 4 至 5 年 CPU 市场年复合增长率达约 50%,2030 年潜在市场规模突破 2,000 亿美元。
Artificial Analysis 平台现已上线按服务商维度统计的缓存命中率和单任务成本(Cost per Task)数据。以 GLM-5.3 (max) 为例,不同服务商间的单任务成本差异约为 9 倍,这主要由缓存命中率和 token 定价共同决定。由于 Agentic 工作负载每轮需重发完整对话历史,该指标对评估实际运行成本具有重要参考价值。
谷歌发布 Gemini 4 Argon 模型,现已面向全球开发者和企业开放,可通过 AI Studio、Gemini 平台 API 及 Google Antigravity 等渠道使用。该模型输入上限为每百万 Tokens 2 美元(促销期),擅长处理编码、金融等领域的复杂任务,曾帮助 Chrome 团队将数千万行代码的架构重构工作从数月缩短至数周。
Google DeepMind 正式发布前沿模型 Gemini 4 Argon,面向开发者、企业及消费者开放 API 及订阅服务。该模型在编码、金融、法律、网络安全和科学等领域表现突出,在 Vals Index 中排名第一,并具备 1M token 的上下文窗口。
推荐理由:原文详述了该模型在代码重构、科学发现及安全防御中的具体性能提升与落地案例,展示了其处理复杂长程任务的实际能力。
AWS 发布教程指导开发者在 Amazon Bedrock 上利用 Grok 4.7 构建具备工具调用能力的长周期智能体。文章通过三个需搜索而非简单查表的复杂任务(故障诊断、维护调度、迁移预算)进行了 72 次运行测试,结果显示 xhigh 推理强度下准确率为 100%,而 low 强度以约八分之一的输出 Token 实现了 83% 的准确率。
推荐理由:原文通过构建工具调用智能体并对比不同推理强度下的表现,提供了在长周期任务中平衡准确率与Token成本的具体评估方法。
菲尔兹奖得主丘成桐与多位中国数学家在北京发起“丘成桐数学与人工智能实验室联盟”,联合八家机构并计划构建超1000名研究人员网络以推动AI进入数学研究。与此同时,包括陶哲轩在内的25位菲尔兹奖得主担忧AI生成的证明会削弱数学理解力并使研究者依赖无法追踪的工具,部分社区甚至呼吁抵制AI生成证明。中国方面则致力于开发专用模型、机器可验证证明及透明AI推理系统。
YouTube 频道 Jun Yamog 测试显示,4 张英伟达 Tesla V100 组成的 NVLink 集群在 Qwen3.8-Flash-Next 基准中,长提示处理速度较 2 台 DGX Spark 快 40%,较 M5 Ultra 快 230%。
Meta 发布 Muse Wonder 与 Muse Wonder Full 两款旗舰 AI 模型,宣称在推理、写作与代码能力上接近 Anthropic 顶尖模型。
Sakana AI 与 UC Berkeley 推出“多智能体自我监督”(MASS)方法,让单一语言模型通过解决任务、评估结果和优化工作流实现递归自我改进。基于 Qwen3.6-27B 的实验显示,该方法在两轮训练后对基础模型的胜率从 53.9% 提升至 69.9%,但在 Terminal-Bench 2.0 和 SWE-bench Verified 上得分略有下降。
Google DeepMind 的 AlphaProof Nexus 系统独立解决了数十个开放数学问题,相关研究已发表于 Science 并通过同行评审。该系统基于 Gemini 3.1 Pro,利用 Lean 语言进行证明起草与修正,成功破解了 9 个 Erdős 问题(其中两个悬置 56 年)、44 个 OEIS 猜想以及代数几何中的一个开放问题。
推荐理由:原文详述了AlphaProof Nexus在解决开放数学问题上的具体成果及同行评审情况,展示了AI在形式化证明领域的最新进展。
AMI Labs 创始人杨立昆指出,AI 下一次突破将来自能理解物理世界的“世界模型”,而非大语言模型。他认为 LLM 难以处理现实世界的不可预测性,主张开发能学习物理规律与因果关系的系统以弥合差距。
微软发布名为 Decision-1 的决策模型,旨在处理分类、评估和路由决策,并引导智能体在复杂环境中运行。该模型基于 Qwen3.5-9B,微软称其在涵盖近 150,000 个问题的 36 项基准测试中准确率最高,达到 83.5%,且速度比第二名 H2O-Lightning-4B 快 2.5 倍,延迟仅为 85 ms。
Underdog AI 发布 Saluki 27B 模型,这是 Qwen3.8-27B 的 2-bit 量化调优版本,文件大小仅 7.89 GB。该模型针对智能体应用设计,擅长日常推理和工具使用,其多工具并行调用表现优于全尺寸 Qwen3.8-27B。Saluki 采用标准 llama.cpp 格式,无需自定义编译即可加载。
Google DeepMind 的 Pushmeet Kohli 与 Biohub 的 Sal Candido 指出 AlphaFold 并未完全解决蛋白质折叠问题,静态结构预测存在局限。双方认为单纯扩展算力与数据不足以突破生物学瓶颈,需寻找正确的缩放定律并平衡科学直觉与通用架构。他们强调从单个蛋白质模型转向整体生物系统建模,以及利用低质量宏基因组数据改进蛋白质语言模型的重要性。
陶哲轩公开批评 OpenAI 发布 719 份 AI 数学解答的做法,认为其将攻克著名难题作为产品展示破坏了数学界的理解、教学与合作机制。他指出当前 AI 生成速度远超人类验证能力,导致大量无人能消化的证明出现,且 OpenAI 未完全遵循 AGMAI 关于披露模型细节和形式化验证的建议。
字节 Seed 团队指出分块 KV 缓存压缩引入的 Token 相位敏感性是 DeepSeek“抽风”主因。该研究评估了 DeepSeek-V4-Flash、V4-Pro 及 V4.1-Flash,发现相同信息在不同相位检索难度差异显著。此类大型开放权重模型长上下文检索准确度在各阶段间相差高达 40 个百分点,平均基准分数可能掩盖周期性弱点。
OpenAI本周发布数百个高难度数学问题解法,但被指未达到普林斯顿高等研究院数学与人工智能顾问组(AGMAI)制定的标准。AGMAI强调需确保人类对结果的理解,而OpenAI仅10/719份手稿包含模型思维链,且42%的证明未经过形式化处理。
智能体读取多于写入,因此DeepSeek缩减了其记忆内容。请阅读本周《The Batch》中的技术解析。每 token 890 字节缓存,比 DeepSeek-V1 小 437 倍;输入从 4K 到 1M,每输出 token 计算量增加 25%;Flash 胜出
Inferact 和 vLLM 团队在 DeepSeek-V4.1-Flash 发布后三周内完成深度优化,在 SemiAnalysis AgentX 基准测试中实现了低并发下 1.9 倍加速及高吞吐约束下 5.3 倍的吞吐量提升。
推荐理由:vLLM 团队详细拆解了针对 DeepSeek-V4.1-Flash 的 SWA 有界重放与内核融合优化路径,展示了如何通过系统级调优实现智能体场景下 5 倍吞吐提升的具体工程方法。