Anthropic 发布新动态
Anthropic 通过其官方 X 账号 @AnthropicAI 发布了一条新动态。该消息由官方直接发出，具体细节需参考原文内容。
推荐理由：官方账号发布的新动态，读者可据此了解 Anthropic 最新的产品或功能变化。
技术方向
推理能力 最新动态
模型推理能力的进展：思维链、推理模型、数学与逻辑基准的突破与争议。
36 条精选近 30 天 16 条共收录 96 条
更新
精选归档 · 第 2 页
Anthropic精选AI 评分6565
SemiAnalysis精选AI 评分8383 SemiAnalysis 发布开源智能体推理基准 AgentX 1.0
SemiAnalysis 宣布推出 AgentX 1.0，这是全球首个完全开源的多轮智能体编码推理基准，支持百万级上下文长度，采用 Apache 2.0 协议发布。
推荐理由：SemiAnalysis 发布首个百万上下文智能体编码推理基准 AgentX，并开源了针对 vLLM、SGLang 等框架的数十项上游优化，为评估 AI 硬件在真实多轮长上下文负载下的性能提供了新标准。
Together AI Blog精选AI 评分8282 Together AI 评测 GLM-5.3 与 GPT-5.6 Sol：成本、编码能力与路由策略对比
Together AI 在 DeepSWE 基准上对 GLM-5.3 (max) 和 GPT-5.6 Sol (max) 进行了 904 次 rollout 测试。
推荐理由：通过904次实测对比GLM-5.3与GPT-5.6 Sol在DeepSWE上的成本、通过率及失败模式，揭示了级联路由策略能以更低成本超越单一旗舰模型的性能。
vLLM 官方博客精选AI 评分6565 vLLM 官方博客详解 DSpark 自适应验证机制以优化投机解码
vLLM 引入 enable_adaptive_verification 功能，利用 DSpark 置信度头动态决定每步验证的草稿 token 数量，使投机解码在并发 256 时仍保持吞吐优势。
推荐理由：vLLM 官方详解自适应验证机制，通过动态调整草稿预算解决高并发下投机解码性能瓶颈，提供可复现的配置与基准数据。
vLLM 官方博客精选AI 评分8282 vLLM 宣布对 Qwen3.8-2.4T-A95B 提供 Day-0 支持
vLLM 团队宣布为 Qwen3.8-2.4T-A95B 提供 Day-0 支持，该模型基于 Qwen 3.5 架构，是首个开放权重的 Qwen-Max 级模型。
推荐理由：vLLM 官方提供了 Qwen3.8-2.4T-A95B 的 Day-0 支持细节，包括 FP4 量化权重、硬件优化内核及基准测试数据，有助于开发者评估大规模稀疏 MoE 模型的部署成本与性能。
Anthropic精选AI 评分6565 Anthropic 展示未发布模型在黎曼猜想相关研究中的进展
Anthropic 表示其一个尚未发布的模型在黎曼猜想相关问题上取得了进展，该模型提升了满足黎曼假设的 zeta 函数零点的比例下限。这一结果展示了大语言模型在复杂数学推理任务中的潜在能力，但原文未提供具体的数值细节或技术方法。
推荐理由：官方展示了未发布模型在数学猜想上的具体进展，为评估前沿模型的深层推理能力提供了实证案例。
vLLM 官方博客精选AI 评分8383 vLLM 宣布支持 NVIDIA Nemotron 3.5 Lightning 模型
vLLM 宣布对 NVIDIA Nemotron 3.5 Lightning 提供 Day-0 支持。该模型采用 30B 总参数、3B 激活参数的混合 MoE 架构，专为始终在线的智能体设计，支持最高 100 万 token 上下文窗口。
推荐理由：原文给出了混合 MoE 架构、投机解码配置及多硬件部署指南，读者可据此评估其在智能体工作流中的效率与落地可行性。
vLLM 官方博客精选AI 评分6060 vLLM 官方博客详解 Qwen3.5 在 GB200 上达成 25K TPS/GPU 的优化与复现方法
vLLM 团队发布博客，展示如何通过解耦服务模式在 GB200 NVL72 系统上使 Qwen3.5-397B-A17B-NVFP4 模型达到超过 25,000 total TPS/GPU 的性能。
推荐理由：vLLM 团队公开了 Qwen3.5 在 GB200 NVL72 上实现 25K TPS/GPU 的解耦服务配置、关键优化补丁及复现配方，为高性能推理部署提供直接参考。
vLLM 官方博客精选AI 评分6565 vLLM 与 Speculators 开源支持 P-EAGLE、DFlash 和 DSpark 并行起草算法
vLLM 官方博客宣布与 Speculators 合作，正式提供对 P-EAGLE、DFlash 和 DSpark 三种最先进并行起草算法的完整开源支持。这些算法通过在单次验证器模型前向传播中并行生成整个候选 token 块，消除了传统自回归起草（如 EAGLE-3）中逐 token 生成的线性延迟瓶颈。
推荐理由：vLLM 与 Speculators 开源支持 P-EAGLE、DFlash 和 DSpark 并行起草算法，通过单次前向传播生成候选块以突破自回归限制并提升推理速度。
Modal 官方工程博客精选AI 评分7777 Modal 上线 Kimi K3 并实现 Day-0 支持
Moonshot 发布拥有 2.8T 参数、1M token 上下文窗口及原生视觉能力的开源多模态模型 Kimi K3，Modal 在发布当日即提供运行支持。通过定制 DFlash 投机解码器，该模型在 Modal 上实现了 460 tokens/s 的生成速度，较基准提升 360% 交互性且吞吐量提高 88%。
推荐理由：原文详述了针对Kimi K3架构定制的DFlash投机解码方案，展示了其在智能体工作负载下显著提升吞吐与响应速度的具体数据。
vLLM 官方博客精选AI 评分8383 vLLM 发布 Kimi K3 Day-0 高效支持指南
vLLM 宣布为开源多模态 MoE 模型 Kimi K3 提供 Day-0 支持，涵盖架构适配、内核优化及部署配方。在 16 张 NVIDIA GB300 NVL72 GPU 上，启用 DSpark 推测解码后单用户吞吐可达 370 tok/s，较无推测解码提升 3.14 倍。该支持包括混合前缀缓存、预填充/解码分离及 AMD ROCm 兼容，相关 Docker 镜像和详细配置已开放获取。
推荐理由：vLLM 官方给出了 Kimi K3 的 Day-0 支持细节与性能数据，开发者可据此评估其在生产环境中的部署可行性。
vLLM 官方博客精选AI 评分6666 vLLM官方博客：在24张NVIDIA B300 GPU上部署GLM-5.2并满足生产级SLA的实践指南
DaoCloud团队在vLLM官方博客发布文章，介绍了如何在24张NVIDIA B300 GPU上部署GLM-5.2-NVFP4模型以满足生产级SLA要求。通过采用分离式P/D架构、推测解码填充、Model Runner V2及IndexerCache等优化手段，将平均TPOT从约40ms降至17ms，同时保持TTFT低于2.5秒。
推荐理由：文章详细记录了在24张B300 GPU上部署GLM-5.2的全过程，提供了从TPOT优化到最终SLA达标的具体配置和命令。
Together AI Blog精选AI 评分7575 Together AI 上线 Thinking Machines Lab 新模型 Inkling
Thinking Machines Lab 发布新多模态混合专家模型 Inkling，Together AI 宣布在 Day 0 将其接入推理平台。该模型支持文本、图像和音频输入，拥有 975B 总参数、40B 激活参数及 1M 上下文窗口，并引入查询条件相对注意力等架构创新。
推荐理由：原文详述了 Inkling 的混合专家架构与可控推理机制，并说明其在 Together AI 平台上的即时可用性与 API 特性。
Modal 官方工程博客精选AI 评分7070 Thinking Machines 发布多模态模型 Inkling 并上线 Modal
Thinking Machines 发布通用多模态模型 Inkling，支持文本、图像和音频输入及文本输出。Modal 提供 Day 0 支持，将其作为基于 Token 计价的托管端点上线。
推荐理由：原文披露了 Inkling 在 Modal 上的部署细节及 DFlash 投机解码优化，展示了针对混合专家架构的特定工程加速方案。
Modal 官方工程博客精选AI 评分6868 Modal 发布 Auto Endpoints：提供可完全掌控的生产级 LLM 推理服务
Modal 推出 Auto Endpoints，允许用户通过单条命令部署兼容 OpenAI API 的生产级 LLM 推理服务，实现从 GPU 选择到引擎调优的全链路代码可见性。
推荐理由：原文展示了从黑盒 API 到可观测代码的推理服务范式转变，读者可以据此评估自建推理栈的成本与性能平衡。
Modal 官方工程博客精选AI 评分6565 Modal 开源 Qwen 系列 DFlash 推测解码模型
Modal 在 Hugging Face 发布针对 Qwen 3.5 和 3.6 系列的多个 DFlash 推测解码（speculative decoding）草稿模型，包括 Qwen 3.6 35B-A3B-DFlash 等版本。
推荐理由：官方开源多款DFlash推测解码模型并给出实测加速数据，为自托管推理优化提供了可直接复用的方案。