#推理

Mistral 发布 Large 4 预览版：万亿参数模型

Mistral 发布了 Mistral Large 4 预览版，这是一个拥有 1 万亿总参数和 490 亿活跃参数的模型，通过 API 提供访问。该模型在 Artificial Analysis 上得分为 38，略低于 DeepSeek 4.1 Flash，但显著优于上一代 Mistral Large 3。官方承诺将在本月底发布开源权重版本，目前仅支持“none”和“high”两种推理级别。

Reflection 发布开源模型 Beam，主打低算力高性能

AI 公司 Reflection 发布首个开源权重模型 Beam，旨在以最小算力实现强性能，直接对标 DeepSeek 和 Qwen 等中国开源模型。该 MoE 架构模型总参数 501B，每 token 激活 23B，专注于编码、逻辑推理和 Agent 任务。

同一新闻，精选展示《Reflection 发布 501B 参数开源模型 Beam》

Mistral AI 发布 Mistral Large 4 预览版

Mistral AI 推出 Mistral Large 4（ML4）公开预览版，这是一款拥有 1 万亿参数、490 亿激活参数的原生多模态开放权重模型。该模型在欧洲数据中心使用 NVIDIA Grace Blackwell GPU 从零开始训练，在编码、智能体工作流及网络安全等领域表现卓越，部分指标超越闭源前沿模型。权重将于本月底发布，目前可通过 Mistral Studio 试用 API。

Reflection AI 发布开源权重模型 Beam，宣称以更低算力成本对标中国模型

Reflection AI 正式推出其首个前沿开源权重模型 Beam，这是一款拥有 501B 总参数和 23B 激活参数的纯文本 MoE 模型。该公司声称 Beam 在高级推理基准测试中性能与 Z.ai 的 GLM-5.2 相当，但推理计算量减少 3-4 倍，且预训练使用了 23.8T tokens。

同一新闻，精选展示《Reflection 发布 501B 参数开源模型 Beam》

Qwen3.8 27B 英文单词加法基准测试

Qwen3.8-27B-Q4_K_M.gguf 在禁用推理时，将正整数之和以英文单词表达的数字准确率为 23.57%，格式合规率 96.17%。启用 medium reasoning 后，在 169 个案例中正确回答 167 次。该实验由 Simon Willison 基于 Colin Frasier 的 GPT-4o 早期研究，在 DGX Spark 本地硬件上复现。

AlphaGo团队成员：大语言模型并不具备真正的推理能力

AlphaGo核心成员Thore Graepel撰文指出，当前大语言模型仅依赖链式思维进行模式补全，缺乏独立的推理机制和可审计的认知状态。他认为应借鉴AlphaGo的搜索架构，建立显式的知识操作分离与不确定性评估体系，以实现科学和医疗领域所需的可信机器智能。

Karpathy分享理解LLM输出技巧

我们将花更多时间试图理解语言模型的输出。一些想法、技巧和窍门：写作。我在这方面很成功的一点是：要求你的 LLM 用 ASD-STE100 解释某事，这是一种最初为……开发的受控语言规范

MIT博士生Alex Zhang谈递归语言模型与智能体蜂群的未来

Latent Space访谈了MIT博士生Alex Zhang，探讨其关于递归语言模型（RLM）和大规模多智能体系统的研究。Zhang认为未来的“语言模型”可能是隐藏在简单界面下的智能体蜂群，并指出当前前沿模型存在巨大的能力过剩。他详细解释了RLM如何通过上下文卸载、代码执行和递归子代理调用来解决长上下文和组合泛化问题，并讨论了OpenAI的10,000个智能体实验及Kimi的多智能体方法。

Google DeepMind 发布 Gemini 4 Argon：面向复杂工作流的前沿智能体模型

Google DeepMind 正式宣布推出新前沿模型 Gemini 4 Argon，该模型旨在通过深度推理处理复杂的长周期工作流，目前正通过 Fairwind Program 向受信任的网络安全防御者逐步开放。

MIT等机构提出Ataraxos AI系统，以低成本在Stratego游戏中超越顶尖人类玩家

MIT、卡内基梅隆大学等机构的研究人员开发了名为 Ataraxos 的 AI 系统，该系统在 Stratego 游戏中击败了排名最高的人类玩家，这是此前任何 AI 系统都未能实现的成就。

SemiAnalysis 解析 GLM-5.3 稀疏注意力对 HBM 内存的影响及服务优化

SemiAnalysis 指出稀疏注意力虽降低了 SDPA 操作的带宽需求，但 top-k 选择仍需完整上下文驻留 HBM，并未消除整体内存容量瓶颈。文章介绍了 SGLang 的 HiSparse 分层内存系统，通过将 KV cache 卸载至 DRAM 并结合层级重叠技术来提升高并发吞吐量。

Anthropic 发布 Claude Sonnet 5.5：速度提升 30%，默认开启思考模式

Anthropic 发布 Claude Sonnet 5.5，作为 Claude 5.5 系列的第二款模型，其速度比 Sonnet 5 快 30%，且因通常消耗更少 token，实际成本降低最多 30%。

Claude 在科学博客展示九圈计算能力

科学博客新文章：是的，Claude 可以处理 Nine Loops。理论物理学家使用称为散射振幅的公式来预测粒子的行为。这些公式以难以计算而闻名，因此研究人员使用被称为“loops”的层层精细修正——每一

Modal 发布 Quail：联合优化查询规划器与推理引擎以加速 AI-SQL

Modal 推出名为 Quail 的推理引擎，专门用于加速 AI-SQL 工作负载，在单张 H100 GPU 上实现超过 10 亿 tokens/min 的处理速度，比 vLLM 基线快 10 倍以上。

Modal 分享如何为万亿参数编码智能体服务万亿 token 的推理优化实践

Modal 官方博客分享了针对 Moonshot AI Kimi K2.6 等万亿参数模型的推理服务优化方案，实现了单副本性能提升 2.8x（每用户）和 5.6x（跨用户）。

MoE 模型推理中的计算与数据移动机制解析

Mixture of Experts (MoE) 架构改变了前沿模型的推理服务结构与经济性，需区分 Prefill、Midfill、Decode attention 和 Decode experts 四种工作模式。这些模式在算术强度、内存移动及网络带宽需求上存在显著差异，影响 vLLM、NVIDIA Dynamo 等编排层与推理服务器的调度策略。

vLLM 在 GB300 NVL72 集群上实现 Qwen3.8-2.4T PD Serving 性能突破

vLLM 在 GB300 NVL72 集群上对 Qwen3.8-2.4T 模型进行 PD Serving 优化，在 8K/1K 负载下实现每 GPU 5000 总 token 吞吐量及低延迟场景下每用户 180 生成 token。

SemiAnalysis 解析 Engram 架构的 DRAM/SSD 卸载机制与 DeepSeek-V4.1-Flash 实测表现

SemiAnalysis 发布报告深入分析 Engram 模型架构及其参数卸载策略，指出该设计允许将嵌入表从 HBM 移至主机 DRAM 或 SSD，从而释放显存用于 KV cache 并降低硬件需求。

Google Research 提出 Retrieve-for-Train 框架加速复杂 AI 搜索

Google Research 在 ICML 2026 论文中提出 Retrieve-for-Train 框架，利用离线强化学习将查询分解行为编译为轻量级扩散检索器。该方法消除了推理时生成数百个思维链 token 的延迟瓶颈，实现单次高效查询扇出。通过奖励对齐的数据编译，系统能在保持结果多样性与覆盖度的同时，满足生产环境亚秒级响应需求。

vLLM 团队详解如何在 GB300 NVL72 上训练 Kimi-K3 最快的 DSpark 推测解码模型

vLLM 团队利用 Speculators 库在 GB300 NVL72 集群上成功训练了 Kimi-K3 的 DSpark 推测解码模型，将单流数学推理速度从约 110 tok/s 提升至约 435 tok/s。

SemiAnalysis 实测 Vera Rubin NVL72：智能体推理每美元性能提升 67 倍

SemiAnalysis 发布 Vera Rubin NVL72 在 AgentX 智能体推理基准下的首份验证结果，显示其在特定场景下每美元总拥有成本（TCO）产生的吞吐量约为 GB300 的 67 倍。

vLLM 详解 Kimi K3 性能优化：如何实现 2.8 倍吞吐量提升

vLLM 官方博客发布 Kimi K3 性能优化指南，通过全栈调整将吞吐量提升至 2.8 倍并降低延迟。文章重点解析自适应推测解码预算、内部 KDA 前缀检查点、零拷贝混合批次及延迟 MXFP4 最终化等关键改进，并涵盖 ReplaySSM 状态重构、PD 分离及解码上下文并行等技术细节。

OpenRouter 发布 Fusion 复合模型功能：通过多模型辩论提升复杂任务质量

OpenRouter 推出名为 Fusion 的复合模型功能，允许单个提示词触发多个专家模型的并行回答与裁判对比，以生成更高质量的最终答案。默认三模型面板的成本约为单次调用的四到五倍，延迟增加两到三倍，适用于高价值研究或决策场景而非实时交互。

SemiAnalysis发布TPUv7 Ironwood第三方推理实测与TorchTPU栈深度解析

SemiAnalysis在InferenceX Preview中发布了Google TPUv7 Ironwood的首批第三方推理结果，显示其在FP8聚合服务模式下相比NVIDIA B200/B300拥有最高50%的性能每美元优势。

vLLM 发布 TT Plugin 支持 Tenstorrent 硬件推理

vLLM 推出 TT Plugin，通过标准插件机制将 Tenstorrent 加速器接入 vLLM，保持 OpenAI 兼容 API 不变。该方案利用编译式网格程序实现相位约束调度、单进程 Lane 数据并行及端侧采样，解决了非 GPU 架构与现有推理栈的兼容性问题。目前支持 Llama、Qwen、GPT-OSS 等多模态模型，暂不支持推测解码和 LoRA。

Anthropic 发布新动态

Anthropic 通过其官方 X 账号 @AnthropicAI 发布了一条新动态。该消息由官方直接发出，具体细节需参考原文内容。

SemiAnalysis 发布开源智能体推理基准 AgentX 1.0

SemiAnalysis 宣布推出 AgentX 1.0，这是全球首个完全开源的多轮智能体编码推理基准，支持百万级上下文长度，采用 Apache 2.0 协议发布。

Together AI 评测 GLM-5.3 与 GPT-5.6 Sol：成本、编码能力与路由策略对比

Together AI 在 DeepSWE 基准上对 GLM-5.3 (max) 和 GPT-5.6 Sol (max) 进行了 904 次 rollout 测试。

Cerebras 发布 CS-4：基于 WSE-3 实现性能翻倍与模块化重构

Cerebras 发布第四代机架系统 CS-4，在沿用 5nm WSE-3 晶圆引擎的基础上，通过提升功耗和时钟频率使每晶圆 token/s/user 性能较 CS-3 翻倍。

vLLM 官方博客详解 DSpark 自适应验证机制以优化投机解码

vLLM 引入 enable_adaptive_verification 功能，利用 DSpark 置信度头动态决定每步验证的草稿 token 数量，使投机解码在并发 256 时仍保持吞吐优势。

MindTopo 基准揭示多模态模型在拓扑推理与规划中的能力差距

Microsoft Research 推出 MindTopo 基准，评估多模态大模型的拓扑推理能力。测试显示模型在静态识别上表现优于交互式规划，但在维持连接、封闭等结构关系时易出错。该发现凸显了 AI 在机器人及交互环境中保持空间一致性的不足。

vLLM 宣布对 Qwen3.8-2.4T-A95B 提供 Day-0 支持

vLLM 团队宣布为 Qwen3.8-2.4T-A95B 提供 Day-0 支持，该模型基于 Qwen 3.5 架构，是首个开放权重的 Qwen-Max 级模型。

Anthropic 展示未发布模型在黎曼猜想相关研究中的进展

Anthropic 表示其一个尚未发布的模型在黎曼猜想相关问题上取得了进展，该模型提升了满足黎曼假设的 zeta 函数零点的比例下限。这一结果展示了大语言模型在复杂数学推理任务中的潜在能力，但原文未提供具体的数值细节或技术方法。

vLLM 宣布支持 NVIDIA Nemotron 3.5 Lightning 模型

vLLM 宣布对 NVIDIA Nemotron 3.5 Lightning 提供 Day-0 支持。该模型采用 30B 总参数、3B 激活参数的混合 MoE 架构，专为始终在线的智能体设计，支持最高 100 万 token 上下文窗口。

vLLM 官方博客详解 Qwen3.5 在 GB200 上达成 25K TPS/GPU 的优化与复现方法

vLLM 团队发布博客，展示如何通过解耦服务模式在 GB200 NVL72 系统上使 Qwen3.5-397B-A17B-NVFP4 模型达到超过 25,000 total TPS/GPU 的性能。

Opus 5 处理百万 Token 任务

我们正逐渐脱离那种通过“画一只骑自行车的鹈鹕”来测试 LLM 的阶段。作为一种泛化思路，我很好奇如果给 Opus 5 提供《指环王》的第一段、100 万 token 预算（约 $10）并要求它

vLLM 在 Arm CPU 上的性能优化

vLLM 联合 PyTorch、oneDNN 等社区优化 Arm Neoverse 服务器上的大语言模型推理，通过启用 mimalloc 分配器和 LSE 原子指令解决瓶颈。Llama 3.1 8B 离线吞吐量提升 2.3 倍，低并发场景下 TPOT 延迟降低 15%。

vLLM 与 Speculators 开源支持 P-EAGLE、DFlash 和 DSpark 并行起草算法

vLLM 官方博客宣布与 Speculators 合作，正式提供对 P-EAGLE、DFlash 和 DSpark 三种最先进并行起草算法的完整开源支持。这些算法通过在单次验证器模型前向传播中并行生成整个候选 token 块，消除了传统自回归起草（如 EAGLE-3）中逐 token 生成的线性延迟瓶颈。

Modal 上线 Kimi K3 并实现 Day-0 支持

Moonshot 发布拥有 2.8T 参数、1M token 上下文窗口及原生视觉能力的开源多模态模型 Kimi K3，Modal 在发布当日即提供运行支持。通过定制 DFlash 投机解码器，该模型在 Modal 上实现了 460 tokens/s 的生成速度，较基准提升 360% 交互性且吞吐量提高 88%。

vLLM 发布 Kimi K3 Day-0 高效支持指南

vLLM 宣布为开源多模态 MoE 模型 Kimi K3 提供 Day-0 支持，涵盖架构适配、内核优化及部署配方。在 16 张 NVIDIA GB300 NVL72 GPU 上，启用 DSpark 推测解码后单用户吞吐可达 370 tok/s，较无推测解码提升 3.14 倍。该支持包括混合前缀缓存、预填充/解码分离及 AMD ROCm 兼容，相关 Docker 镜像和详细配置已开放获取。