vLLM 详解 Kimi K3 深度优化：实现 840 tokens/s 及快速响应维护策略
vLLM 官方博客发布 Kimi K3 的深度优化方案，通过 Agent 辅助开发构建统一 CuTe DSL decode 路径，在 16 张 NVIDIA GB300 GPU 上实现 batch 1 超过 840 tokens/s 的解码速度。
推荐理由：原文详细拆解了 Kimi K3 在 vLLM 中的底层优化逻辑与性能数据，并提出了平衡开发速度与稳定性的维护框架。
#推理
vLLM 官方博客精选AI 评分6868 AnthropicAI 评分3838 Claude Mythos 5优化量子电路
来自我们的 STEM Fellow 项目的新成果：利用 Claude 设计更高效的量子电路。根据自然语言指令，Claude Mythos 5 设计的量子电路优于已发表的最佳方案，有时提升幅度达一个数量级或更多。更高效的电路
Artificial AnalysisAI 评分4242 Liquid AI 发布 d1-ultra 登顶决策指数
Liquid AI 发布了 d1-ultra，在 Artificial Analysis Decision Index v1.0 中占据第 1 位，得益于幻觉率的降低。d1-ultra 是 @liquidai 推出的新决策模型，继本月早些时候发布 d1 之后推出。其定价为 $0.042
vLLM 官方博客精选AI 评分7878 vLLM 发布 Reflection Beam 模型 Day 0 支持与优化指南
vLLM 宣布从 Day 0 支持 Reflection 的 501B 参数 MoE 模型 Beam，并在 NVIDIA Blackwell 上完成优化。通过编码智能体自主优化，该实现使 batch-1 解码速度提升 2.71 倍，预填充速度提升 1.87 倍。
推荐理由：vLLM 官方展示了 Reflection Beam 模型的 Day 0 支持细节，包括智能体自动优化带来的显著性能提升和 DFlash2 投机解码配置，为大规模 MoE 模型的高效部署提供了具体参考。
Artificial AnalysisAI 评分4242 DeepSeek V4.1 Flash 刷新吞吐纪录
在 DeepSeek V4.1 Flash 上，Vera Rubin 在每用户约 230 至 350 tok/s 区间内，每兆瓦吞吐量约为 GB300 的 3.4 至 3.6 倍，并在单台 4-GPU 服务器上达到每用户 906 tok/s，这是我们在排行榜上任何模型的最快结果
Ethan MollickAI 评分3838 论文称前沿模型难被廉价替代
这篇论文解释了我为何怀疑“前沿模型可轻易被更便宜的模型取代”这一观点（以及为何应使用最佳模型作为编排者）：准确率和判断力的微小提升会在长周期任务中产生复利效应，从而带来结果的巨大增益。
vLLM 官方博客精选AI 评分6868 vLLM 详解 Kimi K3 在 AMD MI355X 上匹配 NVIDIA B300 吞吐量的优化过程
vLLM 官方博客发布技术复盘，详述如何通过六项核心优化使 Kimi K3 在八卡 AMD Instinct MI355X 系统上的每 GPU 吞吐量超越 NVIDIA HGX B300 24.4%，并在成本模型下实现每美元多产出 87.4% 的 token。文章深入解析了 DCP8 缓存分片、MoE 去重计算、KDA 状态并行化及 MLA 长上下文解码加速等具体工程决策与基准测试数据。
推荐理由：文章拆解了 Kimi K3 在 AMD MI355X 上的六项关键优化，提供了从缓存复用到内核融合的具体工程思路。
Hugging Face Blog精选AI 评分6565 Apertus 1.5 发布：支持图像音频理解、思考模式及 262k 长上下文
Apertus 1.5 在 8B 和 70B 版本中新增图像与音频理解、可选思考模式，并将上下文窗口扩展至 262,144 tokens。该模型基于 Apertus 1.0 进行持续预训练，采用早期融合架构处理多模态数据，并在指令遵循与工具调用能力上有所提升。项目以 Apache 2.0 许可证开源权重、数据及训练细节，同时发布了符合 EEE 标准的评估卡片以增强透明度。
推荐理由：Apertus 1.5 通过持续预训练引入原生多模态与思考模式，并公开全链路训练细节，为复现和评估提供了完整依据。
vLLM 官方博客精选AI 评分7575 vLLM发布Bitwise-Consistent RL训练方案：解决DeepSeek-V4等模型训练推理不一致问题
vLLM团队提出一种新方案，通过让训练前向直接调用vLLM推理内核并修改内核逻辑，确保采样token的logprob在训练和推理侧逐位一致（diff=0）。在DeepSeek-V4-Flash实验中，该方法在保持91.3%基线吞吐量的同时实现了零差异，避免了因数值不一致导致的KL散度飙升和奖励下降；该流程已封装为Agent Skill开源，并成功迁移至Nemotron混合架构模型。
推荐理由：原文提供了在高性能推理引擎上实现训练与推理数值完全一致的具体方法、代码及Agent技能包，为RL训练稳定性优化提供了可复用的工程路径。
Artificial AnalysisAI 评分3838 MI355X在DeepSeek V4 Pro性能领先
MI355X 在 DeepSeek V4 Pro 0813 上表现最强。在每用户 35 至 75 tok/s 区间，其每兆瓦吞吐量比 B200 高约 15% 到 40%，峰值达每兆瓦 94M tokens/s（对应每用户 33 tok/s），此水平 B200 需降至每用户 13 tok/s 才能达到。当每用户速度超过约 80 tok/s 时，B200
vLLM 官方博客AI 评分4040 vLLM 推出无需置信度头的自适应验证
vLLM 通过在线拟合估计器实现无置信度头模型的自适应验证，利用草稿模型 logits 预测接受概率以裁剪低置信 token。该功能在 PR #52228 中落地，支持 EAGLE、MTP 等现有检查点直接启用 `enable_adaptive_verification`，无需重新训练即可节省计算开销。
Artificial AnalysisAI 评分3838 DeepSeek V4.1 Flash 基准测试结果
我们已将 DeepSeek V4.1 Flash 添加到 AA-AgentPerf，并提供了 NVIDIA 和 AMD 硬件的测试结果。在每用户 100 tokens/s 的条件下，NVIDIA GB300 以高达 261M tokens/s per MW 的吞吐量位居第一。AA-AgentPerf 是我们的智能体推理性能基准测试。它重放真实的智能
Artificial AnalysisAI 评分5252 Artificial Analysis 上线按服务商统计的缓存命中率与任务成本数据
Artificial Analysis 平台现已上线按服务商维度统计的缓存命中率和单任务成本（Cost per Task）数据。以 GLM-5.3 (max) 为例，不同服务商间的单任务成本差异约为 9 倍，这主要由缓存命中率和 token 定价共同决定。由于 Agentic 工作负载每轮需重发完整对话历史，该指标对评估实际运行成本具有重要参考价值。
Google DeepMind精选AI 评分9797 Google DeepMind 发布 Gemini 4 Argon 模型
Google DeepMind 正式发布前沿模型 Gemini 4 Argon，面向开发者、企业及消费者开放 API 及订阅服务。该模型在编码、金融、法律、网络安全和科学等领域表现突出，在 Vals Index 中排名第一，并具备 1M token 的上下文窗口。
推荐理由：原文详述了该模型在代码重构、科学发现及安全防御中的具体性能提升与落地案例，展示了其处理复杂长程任务的实际能力。
AWS Machine Learning Blog精选AI 评分6262 AWS 博客详解如何在 Amazon Bedrock 上使用 Grok 4.7 构建长周期智能体
AWS 发布教程指导开发者在 Amazon Bedrock 上利用 Grok 4.7 构建具备工具调用能力的长周期智能体。文章通过三个需搜索而非简单查表的复杂任务（故障诊断、维护调度、迁移预算）进行了 72 次运行测试，结果显示 xhigh 推理强度下准确率为 100%，而 low 强度以约八分之一的输出 Token 实现了 83% 的准确率。
推荐理由：原文通过构建工具调用智能体并对比不同推理强度下的表现，提供了在长周期任务中平衡准确率与Token成本的具体评估方法。
DeepLearning.AIAI 评分4242 DeepSeek优化智能体记忆缓存
智能体读取多于写入，因此DeepSeek缩减了其记忆内容。请阅读本周《The Batch》中的技术解析。每 token 890 字节缓存，比 DeepSeek-V1 小 437 倍；输入从 4K 到 1M，每输出 token 计算量增加 25%；Flash 胜出
vLLM 官方博客精选AI 评分8282 vLLM 发布 DeepSeek-V4.1-Flash 优化指南：通过 SWA 重放与内核融合实现 5 倍智能体吞吐
Inferact 和 vLLM 团队在 DeepSeek-V4.1-Flash 发布后三周内完成深度优化，在 SemiAnalysis AgentX 基准测试中实现了低并发下 1.9 倍加速及高吞吐约束下 5.3 倍的吞吐量提升。
推荐理由：vLLM 团队详细拆解了针对 DeepSeek-V4.1-Flash 的 SWA 有界重放与内核融合优化路径，展示了如何通过系统级调优实现智能体场景下 5 倍吞吐提升的具体工程方法。
Mistral AI精选AI 评分8484 Mistral AI 发布 Mistral Large 4 预览版
Mistral AI 推出 Mistral Large 4（ML4）公开预览版，这是一款拥有 1 万亿参数、490 亿激活参数的原生多模态开放权重模型。该模型在欧洲数据中心使用 NVIDIA Grace Blackwell GPU 从零开始训练，在编码、智能体工作流及网络安全等领域表现卓越，部分指标超越闭源前沿模型。权重将于本月底发布，目前可通过 Mistral Studio 试用 API。
推荐理由：Mistral Large 4 以开放权重形式提供前沿性能，其欧洲本土训练背景为寻求数据主权的用户提供了新选择。
Andrej KarpathyAI 评分4040 Karpathy分享理解LLM输出技巧
我们将花更多时间试图理解语言模型的输出。一些想法、技巧和窍门：写作。我在这方面很成功的一点是：要求你的 LLM 用 ASD-STE100 解释某事，这是一种最初为……开发的受控语言规范
Google DeepMind精选AI 评分9494 Google DeepMind 发布 Gemini 4 Argon：面向复杂工作流的前沿智能体模型
Google DeepMind 正式宣布推出新前沿模型 Gemini 4 Argon，该模型旨在通过深度推理处理复杂的长周期工作流，目前正通过 Fairwind Program 向受信任的网络安全防御者逐步开放。
推荐理由：原文披露了 Gemini 4 Argon 在长上下文、软件工程及网络安全防御上的具体基准数据与分阶段开放策略，为评估前沿模型的实际落地能力提供了关键参考。
Anthropic Claude.dev 开发者博客精选AI 评分8282 Anthropic 发布 Claude Sonnet 5.5：速度提升 30%，默认开启思考模式
Anthropic 发布 Claude Sonnet 5.5，作为 Claude 5.5 系列的第二款模型，其速度比 Sonnet 5 快 30%，且因通常消耗更少 token，实际成本降低最多 30%。
推荐理由：原文详细列出了从 Sonnet 5 迁移到 5.5 的五个破坏性变更及 API 参数调整，开发者可据此快速评估升级成本与兼容性风险。
AnthropicAI 评分4040 Claude 在科学博客展示九圈计算能力
科学博客新文章：是的，Claude 可以处理 Nine Loops。理论物理学家使用称为散射振幅的公式来预测粒子的行为。这些公式以难以计算而闻名，因此研究人员使用被称为“loops”的层层精细修正——每一
Modal 官方工程博客精选AI 评分6868 Modal 发布 Quail：联合优化查询规划器与推理引擎以加速 AI-SQL
Modal 推出名为 Quail 的推理引擎，专门用于加速 AI-SQL 工作负载，在单张 H100 GPU 上实现超过 10 亿 tokens/min 的处理速度，比 vLLM 基线快 10 倍以上。
推荐理由：原文展示了针对 AI-SQL 负载的专用推理引擎 Quail，通过联合优化查询计划与推理过程实现显著性能提升。
Modal 官方工程博客精选AI 评分6565 Modal 分享如何为万亿参数编码智能体服务万亿 token 的推理优化实践
Modal 官方博客分享了针对 Moonshot AI Kimi K2.6 等万亿参数模型的推理服务优化方案，实现了单副本性能提升 2.8x（每用户）和 5.6x（跨用户）。
推荐理由：原文详细拆解了万亿参数模型在编码智能体场景下的推理优化路径，提供了从单副本调优到多副本路由的完整工程实践参考。
vLLM 官方博客AI 评分4040 vLLM 在 GB300 NVL72 集群上实现 Qwen3.8-2.4T PD Serving 性能突破
vLLM 在 GB300 NVL72 集群上对 Qwen3.8-2.4T 模型进行 PD Serving 优化，在 8K/1K 负载下实现每 GPU 5000 总 token 吞吐量及低延迟场景下每用户 180 生成 token。
Google ResearchAI 评分3333 Google Research 提出 Retrieve-for-Train 框架加速复杂 AI 搜索
Google Research 在 ICML 2026 论文中提出 Retrieve-for-Train 框架，利用离线强化学习将查询分解行为编译为轻量级扩散检索器。该方法消除了推理时生成数百个思维链 token 的延迟瓶颈，实现单次高效查询扇出。通过奖励对齐的数据编译，系统能在保持结果多样性与覆盖度的同时，满足生产环境亚秒级响应需求。
vLLM 官方博客精选AI 评分6565 vLLM 团队详解如何在 GB300 NVL72 上训练 Kimi-K3 最快的 DSpark 推测解码模型
vLLM 团队利用 Speculators 库在 GB300 NVL72 集群上成功训练了 Kimi-K3 的 DSpark 推测解码模型，将单流数学推理速度从约 110 tok/s 提升至约 435 tok/s。
推荐理由：原文详细拆解了基于GB300集群训练Kimi K3 DSpark草稿模型的全流程，提供了从数据提取到多节点部署的完整技术路径。
vLLM 官方博客AI 评分5555 vLLM 详解 Kimi K3 性能优化：如何实现 2.8 倍吞吐量提升
vLLM 官方博客发布 Kimi K3 性能优化指南，通过全栈调整将吞吐量提升至 2.8 倍并降低延迟。文章重点解析自适应推测解码预算、内部 KDA 前缀检查点、零拷贝混合批次及延迟 MXFP4 最终化等关键改进，并涵盖 ReplaySSM 状态重构、PD 分离及解码上下文并行等技术细节。
OpenRouter Announcements精选AI 评分7878 OpenRouter 发布 Fusion 复合模型功能：通过多模型辩论提升复杂任务质量
OpenRouter 推出名为 Fusion 的复合模型功能，允许单个提示词触发多个专家模型的并行回答与裁判对比，以生成更高质量的最终答案。默认三模型面板的成本约为单次调用的四到五倍，延迟增加两到三倍，适用于高价值研究或决策场景而非实时交互。
推荐理由：官方详解多模型辩论机制与成本权衡，提供 API 调用示例及适用场景边界，帮助开发者评估是否引入该复合推理能力。
vLLM 官方博客AI 评分5858 vLLM 发布 TT Plugin 支持 Tenstorrent 硬件推理
vLLM 推出 TT Plugin，通过标准插件机制将 Tenstorrent 加速器接入 vLLM，保持 OpenAI 兼容 API 不变。该方案利用编译式网格程序实现相位约束调度、单进程 Lane 数据并行及端侧采样，解决了非 GPU 架构与现有推理栈的兼容性问题。目前支持 Llama、Qwen、GPT-OSS 等多模态模型，暂不支持推测解码和 LoRA。
Anthropic精选AI 评分6565 Anthropic 发布新动态
Anthropic 通过其官方 X 账号 @AnthropicAI 发布了一条新动态。该消息由官方直接发出，具体细节需参考原文内容。
推荐理由：官方账号发布的新动态，读者可据此了解 Anthropic 最新的产品或功能变化。
Together AI Blog精选AI 评分8282 Together AI 评测 GLM-5.3 与 GPT-5.6 Sol：成本、编码能力与路由策略对比
Together AI 在 DeepSWE 基准上对 GLM-5.3 (max) 和 GPT-5.6 Sol (max) 进行了 904 次 rollout 测试。
推荐理由：通过904次实测对比GLM-5.3与GPT-5.6 Sol在DeepSWE上的成本、通过率及失败模式，揭示了级联路由策略能以更低成本超越单一旗舰模型的性能。
vLLM 官方博客精选AI 评分6565 vLLM 官方博客详解 DSpark 自适应验证机制以优化投机解码
vLLM 引入 enable_adaptive_verification 功能，利用 DSpark 置信度头动态决定每步验证的草稿 token 数量，使投机解码在并发 256 时仍保持吞吐优势。
推荐理由：vLLM 官方详解自适应验证机制，通过动态调整草稿预算解决高并发下投机解码性能瓶颈，提供可复现的配置与基准数据。
Microsoft ResearchAI 评分3737 MindTopo 基准揭示多模态模型在拓扑推理与规划中的能力差距
Microsoft Research 推出 MindTopo 基准，评估多模态大模型的拓扑推理能力。测试显示模型在静态识别上表现优于交互式规划，但在维持连接、封闭等结构关系时易出错。该发现凸显了 AI 在机器人及交互环境中保持空间一致性的不足。
vLLM 官方博客精选AI 评分8282 vLLM 宣布对 Qwen3.8-2.4T-A95B 提供 Day-0 支持
vLLM 团队宣布为 Qwen3.8-2.4T-A95B 提供 Day-0 支持，该模型基于 Qwen 3.5 架构，是首个开放权重的 Qwen-Max 级模型。
推荐理由：vLLM 官方提供了 Qwen3.8-2.4T-A95B 的 Day-0 支持细节，包括 FP4 量化权重、硬件优化内核及基准测试数据，有助于开发者评估大规模稀疏 MoE 模型的部署成本与性能。
Anthropic精选AI 评分6565 Anthropic 展示未发布模型在黎曼猜想相关研究中的进展
Anthropic 表示其一个尚未发布的模型在黎曼猜想相关问题上取得了进展，该模型提升了满足黎曼假设的 zeta 函数零点的比例下限。这一结果展示了大语言模型在复杂数学推理任务中的潜在能力，但原文未提供具体的数值细节或技术方法。
推荐理由：官方展示了未发布模型在数学猜想上的具体进展，为评估前沿模型的深层推理能力提供了实证案例。
vLLM 官方博客精选AI 评分8383 vLLM 宣布支持 NVIDIA Nemotron 3.5 Lightning 模型
vLLM 宣布对 NVIDIA Nemotron 3.5 Lightning 提供 Day-0 支持。该模型采用 30B 总参数、3B 激活参数的混合 MoE 架构，专为始终在线的智能体设计，支持最高 100 万 token 上下文窗口。
推荐理由：原文给出了混合 MoE 架构、投机解码配置及多硬件部署指南，读者可据此评估其在智能体工作流中的效率与落地可行性。
vLLM 官方博客精选AI 评分6060 vLLM 官方博客详解 Qwen3.5 在 GB200 上达成 25K TPS/GPU 的优化与复现方法
vLLM 团队发布博客，展示如何通过解耦服务模式在 GB200 NVL72 系统上使 Qwen3.5-397B-A17B-NVFP4 模型达到超过 25,000 total TPS/GPU 的性能。
推荐理由：vLLM 团队公开了 Qwen3.5 在 GB200 NVL72 上实现 25K TPS/GPU 的解耦服务配置、关键优化补丁及复现配方，为高性能推理部署提供直接参考。
Andrej KarpathyAI 评分4040 Opus 5 处理百万 Token 任务
我们正逐渐脱离那种通过“画一只骑自行车的鹈鹕”来测试 LLM 的阶段。作为一种泛化思路，我很好奇如果给 Opus 5 提供《指环王》的第一段、100 万 token 预算（约 $10）并要求它
vLLM 官方博客AI 评分3838 vLLM 在 Arm CPU 上的性能优化
vLLM 联合 PyTorch、oneDNN 等社区优化 Arm Neoverse 服务器上的大语言模型推理，通过启用 mimalloc 分配器和 LSE 原子指令解决瓶颈。Llama 3.1 8B 离线吞吐量提升 2.3 倍，低并发场景下 TPOT 延迟降低 15%。