vLLM 在 GB300 NVL72 集群上实现 Qwen3.8-2.4T PD Serving 性能突破
vLLM 在 GB300 NVL72 集群上对 Qwen3.8-2.4T 模型进行 PD Serving 优化，在 8K/1K 负载下实现每 GPU 5000 总 token 吞吐量及低延迟场景下每用户 180 生成 token。
#部署/工程
vLLM 官方博客AI 评分4040
Together AI BlogAI 评分2727 全球金融科技巨头如何利用 Dedicated Model Inference 扩展 GLM-5.2 编码智能体流量
某全球金融科技企业通过 Together AI 的 Dedicated Model Inference 服务，成功扩展基于 GLM-5.2 模型的编码智能体流量。
vLLM 官方博客AI 评分3737 vLLM 集成 PyNvVideoCodec 实现多 GPU 视频字幕生成硬件解码加速
vLLM 通过集成 PyNvVideoCodec 启用 NVIDIA GPU 硬件视频解码，消除 CPU 瓶颈并支持 Qwen3-VL-8B-Instruct 等模型在多 GPU 节点高效运行。在 8xH100 配置下，该方案使视频字幕任务吞吐量较 CPU 解码提升超两倍，显著优化大规模自动驾驶数据标注效率。
Google Developers Blog精选AI 评分7070 Google 与 Speakeasy 合作开源 OpenAPI 代码生成套件
Google 宣布与 Speakeasy 合作，将其 OpenAPI 代码生成套件在 AGPLv3 许可下开源，以解决专有 SDK 生成工具停服带来的平台风险。
推荐理由：原文披露了因专有工具停服引发的迁移背景，并详细列出了新开源生成器支持的语言、CLI及MCP服务器能力。
Together AI BlogAI 评分3535 Together AI 指导从闭源模型向开源模型的迁移策略
Together AI 提出利用托管服务将闭源模型迁移至开源模型的策略，可将周期缩短至数周或数月。该流程涵盖发现、评估与实施阶段，建议通过重放现有流量进行自定义基准测试，以验证准确率与性能是否满足成本及延迟目标。
LangChain BlogAI 评分3333 LangChain 解析欧洲及中东企业 Agent 规模化实践：施耐德、沃达丰与 monday.com 案例
LangChain Blog 分享 Schneider Electric、Vodafone 和 monday.com 在构建生产级 AI Agent 时的基础设施经验。
LangChain Blog精选AI 评分7878 LangChain 详解 Paid Media Agent 构建过程与工程经验
LangChain 发布博客文章，详细解析了其内部 Paid Media Agent 的设计原理、技术挑战及优化策略。该智能体基于 LangChain Deep Agents 构建，通过 Slack 运行，整合广告平台数据与销售管道信息，实现自动化报告生成与实验提案。
推荐理由：LangChain 公开了 Paid Media Agent 的架构设计与工程细节，展示了如何通过分层上下文和代码隔离解决多平台数据对齐难题。
OpenRouter AnnouncementsAI 评分3232 Descript 借助 OpenRouter 将新模型评估周期缩短至数小时
Descript 通过 OpenRouter 作为生产推理层，将新模型评估时间从一周以上缩短至 1-2 小时。目前其视频编辑 Agent Underlord 在生产环境运行来自 Anthropic、Google、OpenAI 和 xAI 的 13 个模型，实现了从单一模型到多模型并行的快速迭代。
vLLM 官方博客精选AI 评分6565 vLLM 团队详解如何在 GB300 NVL72 上训练 Kimi-K3 最快的 DSpark 推测解码模型
vLLM 团队利用 Speculators 库在 GB300 NVL72 集群上成功训练了 Kimi-K3 的 DSpark 推测解码模型，将单流数学推理速度从约 110 tok/s 提升至约 435 tok/s。
推荐理由：原文详细拆解了基于GB300集群训练Kimi K3 DSpark草稿模型的全流程，提供了从数据提取到多节点部署的完整技术路径。
vLLM 官方博客AI 评分4545 Novita AI 开源 Chord：Kimi K2.x INT4 MoE 加速算子，H200 提速最高 1.3x
Novita AI 开源高性能 W4A16 MoE CUDA 算子 Chord，专为 Kimi K2.x 服务形状设计。该算子在 H200 EP8 解码场景下较 Humming 默认配置提速 1.16–1.24x，在 B300 EP8 解码场景下提速达 1.81–2.15x。
SemiAnalysisAI 评分7373 SemiAnalysis 分析机器人推理：端侧 vs 数据中心
SemiAnalysis 发布文章探讨机器人 AI 推理应位于端侧还是数据中心。文章指出由于实时性要求和硬件成本限制，当前前沿机器人模型参数规模远小于 LLM，且受限于网络延迟和抖动，多数公司选择将部分计算保留在机器人本体上。
Modal 官方工程博客AI 评分4242 Modal 更新：支持 Kimi K3/Qwen 3.8 等新模型、Sandbox Sidecars 进入公开测试及仪表盘改版
Modal 新增对 Kimi K3、Qwen 3.8、GLM 5.3 等前沿开源模型的零日支持，其中 Kimi K3 在代理工作负载下可达 460 tokens/s。Sandbox Sidecars 进入公开测试，VM Sandboxes 进入公开 Beta，同时推出环境级预算控制与新版仪表盘。
vLLM 官方博客AI 评分4141 vime 与 RL-Kernel 在 AMD MI300X 实现 Qwen3-8B 训练-推理位级一致
vime 联合 RL-Kernel 在 AMD Instinct MI300X 上实现 Qwen3-8B GRPO 训练与推理的位级数值一致性。该方案通过统一 Megatron 与 vLLM 的数值执行契约，在 200 步连续实验中保持 mismatch_count = 0 且 max_abs_diff = 0。
SemiAnalysisAI 评分6262 SemiAnalysis分析为何4-hi HBM成为AI推理最优解
SemiAnalysis指出随着推理负载占比提升和机架级规模扩大，高堆叠HBM带来的额外容量收益递减，4-hi HBM因提供最佳带宽成本比而成为未来趋势。文章以Kimi K3为例进行Roofline分析，显示在满足最低交互延迟SLA时，8-hi和12-hi HBM的系统成本增幅远超其吞吐量提升，导致单Token成本高于4-hi方案。
vLLM 官方博客AI 评分5555 vLLM 详解 Kimi K3 性能优化：如何实现 2.8 倍吞吐量提升
vLLM 官方博客发布 Kimi K3 性能优化指南，通过全栈调整将吞吐量提升至 2.8 倍并降低延迟。文章重点解析自适应推测解码预算、内部 KDA 前缀检查点、零拷贝混合批次及延迟 MXFP4 最终化等关键改进，并涵盖 ReplaySSM 状态重构、PD 分离及解码上下文并行等技术细节。
vLLM 官方博客AI 评分4545 vLLM 优化 MiniMax M3 于 AMD Instinct MI355X：吞吐提升 3.14 倍
vLLM 在 AMD Instinct MI355X 上优化 MiniMax M3，并发 32 时 MXFP8 标准服务输出吞吐量从 109.1 提升至 342.4 tokens/s/GPU，达 day-0 结果的 3.14 倍。通过 EAGLE3 投机解码及 P/D 分离等策略，并发 128 下 TP2/EP1 路径最高达 943.5 tokens/s/GPU，较初始结果提升 4.45 倍。
Together AI BlogAI 评分4040 ThunderKittens 适配 NVIDIA Vera Rubin NVL72，NVFP4 GEMM 性能突破 22 PFLOPS
Together AI 将 ThunderKittens 移植至 NVIDIA Vera Rubin NVL72 平台，利用新 ISA 特性优化 GEMM 内核。
vLLM 官方博客精选AI 评分6565 vLLM 推出分层 KV 缓存卸载框架以优化长上下文推理
vLLM 发布分层 KV 缓存卸载框架，允许将驱逐的 KV 数据保留在主机内存、存储或远程节点中，避免重新计算从而降低延迟并提升集群有效服务容量。该设计以主机内存为核心枢纽，支持文件系统、对象存储及 P2P 网络作为二级存储，实现了跨节点的缓存共享与混合模型（如 Mamba）的透明支持。基准测试显示，在高并发对话场景下，相比无卸载方案，启用存储卸载可使吞吐量翻倍以上。
推荐理由：vLLM 通过分层 KV 缓存卸载机制，将 GPU 显存压力转移至主机内存和存储层，显著提升了长上下文场景下的集群服务容量与响应速度。
Together AI BlogAI 评分4848 Together AI 推出可抢占计算：价格减半
Together AI 在 GPU Clusters 中推出可抢占计算公开预览，按按需费率的 50% 计费。该功能利用闲置 NVIDIA 算力，支持 Kubernetes 集群，节点被回收时提供最多 5 分钟排空窗口以保存检查点。适用于实验、推理突发及批处理等容错工作负载，用户可通过控制台或 API 动态调整目标容量。
vLLM 官方博客精选AI 评分6363 vLLM 发布 GLM 5.3 优化方案：Hybrid HiSparse 混合稀疏卸载技术
vLLM 推出针对 GLM 5.3 的 Hybrid HiSparse 优化方案，通过混合稀疏 KV 缓存卸载机制，使模型在单个 8× H200 节点上实现全量 100 万 token 上下文运行并显著提升并发能力。
推荐理由：vLLM 官方详解 Hybrid HiSparse 在 GLM 5.3 上的稀疏 KV 缓存卸载机制，提供单节点百万上下文高并发推理的实测数据与复现命令。
vLLM 官方博客精选AI 评分8080 vLLM 解析智能体服务的全栈优化与 AgentX 基准实测
vLLM 团队联合 Inferact 发布技术博客，针对智能体工作负载的多轮会话、长上下文和高前缀复用特性，阐述了涵盖 KV 缓存管理、并行策略及 P/D 分离的全栈优化方案。
推荐理由：原文详细拆解了智能体负载下的全栈优化策略，并提供了基于公开基准的实测数据与失败经验复盘。
SemiAnalysis精选AI 评分8282 SemiAnalysis发布TPUv7 Ironwood第三方推理实测与TorchTPU栈深度解析
SemiAnalysis在InferenceX Preview中发布了Google TPUv7 Ironwood的首批第三方推理结果，显示其在FP8聚合服务模式下相比NVIDIA B200/B300拥有最高50%的性能每美元优势。
推荐理由：第三方实测显示TPUv7在FP8聚合服务下性能每美元比B200高50%，并解析了TorchTPU栈的优化细节。
vLLM 官方博客AI 评分5858 vLLM 发布 TT Plugin 支持 Tenstorrent 硬件推理
vLLM 推出 TT Plugin，通过标准插件机制将 Tenstorrent 加速器接入 vLLM，保持 OpenAI 兼容 API 不变。该方案利用编译式网格程序实现相位约束调度、单进程 Lane 数据并行及端侧采样，解决了非 GPU 架构与现有推理栈的兼容性问题。目前支持 Llama、Qwen、GPT-OSS 等多模态模型，暂不支持推测解码和 LoRA。
Modal 官方工程博客AI 评分2424 Botika 如何在 Modal 上运行全栈生成式 AI
Botika 在 Modal 平台上部署了包含数十亿参数专有模型、100TB 数据管道及约 15 个生产推理模型的全栈生成式 AI 系统。该架构支持研究人员利用 Claude 将每日实验吞吐量从 1-2 次提升至 50 次，并实现秒级弹性扩缩容以应对流量波动。
vLLM 官方博客精选AI 评分8080 vLLM-Omni 发布 MiniMax H3 实时服务方案：集成 FastVideo FastH3 实现快于播放的视频生成
vLLM-Omni 团队发布 MiniMax H3 的生产级服务方案，通过系统级优化和集成 FastVideo 的 FastH3 模型，在 8x NVIDIA B300 上实现了完整 MP4 生成速度快于播放时长（RTF <= 1.0）。
推荐理由：vLLM-Omni 通过系统级优化与 FastH3 集成，实现了 MiniMax H3 在 B300 硬件上快于播放时长的实时视频生成能力。
LangChain BlogAI 评分4242 LangChain 8月通讯：Managed Deep Agents 与 LLM Gateway 进入公开测试
LangChain 宣布 Managed Deep Agents 和 LLM Gateway 进入公开测试，前者支持一键部署至托管运行时，后者提供成本控制和模型回退等生产级管控。LangSmith Engine 性能提升超2倍，开源 Deep Agents v0.7 在保持同等性能下减少65%基础输入 token。
LangChain Blog精选AI 评分7878 LangChain 发布 LangGraph v0.1 及 LangGraph Cloud
LangChain 正式发布 LangGraph v0.1 稳定版并推出处于封闭测试阶段的 LangGraph Cloud。LangGraph v0.1 通过低层级 API 支持条件分支、循环及人机协作，旨在提升智能体工作流的精确控制力与可靠性。
推荐理由：LangGraph v0.1 与 LangGraph Cloud 的发布提供了从精细控制到规模化部署的完整链路，有助于解决智能体在复杂工作流中的可靠性与运维难题。
LangChain BlogAI 评分2424 Podium 借助 LangSmith 优化 AI Employee 智能体行为，工程干预减少 90%
Podium 利用 LangSmith 对 AI Employee 进行全生命周期测试与可观测性管理，使工程干预减少 90%。通过模型蒸馏与微调，其 F1 分数从 91.7% 提升至 98.6%，显著改善了对话结束识别能力。LangSmith 的追踪功能还赋能非工程团队快速定位问题根源，提升了客户支持效率。
LangChain BlogAI 评分2626 Replit Agent 复杂工作流推动 LangSmith 突破性能极限
Replit Agent 的复杂工作流促使 LangChain 团队升级 LangSmith，以支持数百步的大型追踪数据。新增功能包括优化大规模追踪的性能与规模、支持在单个追踪内搜索过滤事件，以及提供线程视图以整合多轮对话中的用户交互。这些改进显著缩短了调试时间，帮助 Replit 更好地监控和扩展其 AI 智能体应用。
LangChain Blog精选AI 评分6868 LangSmith LLM Gateway 进入公开测试版
LangSmith LLM Gateway 现已进入公开测试版，作为位于智能体与模型之间的中央治理层，提供运行时控制能力。该工具支持设置多级支出上限和速率限制以防止成本超支，并具备模型故障转移及敏感数据（PII）检测与脱敏功能。
推荐理由：原文详述了网关在成本控制、故障转移及数据脱敏上的具体机制，为生产环境智能体治理提供了可落地的参考方案。
Google Developers BlogAI 评分3838 Google Cloud 在 TPU 上实现 Qwen3 Embedding 模型的高精度长上下文推理
Google Cloud 将 vLLM 原生集成至 TPU，支持 Qwen3-Embedding-8B 等模型进行高精度长上下文多模态嵌入推理。该方案通过硬件对齐与懒加载优化，确保文本及多模态输入在 TPU 上的余弦相似度分别达到 ≥0.999 和 ≥0.995，实现跨异构硬件的数学一致性。
Import AIAI 评分3535 Import AI 470：METR 研究揭示 AI 加速差异，SPADE 框架实现环境生成自动化
METR 研究显示 AI 在网络安全领域显著加速，数学研究略有贡献，但 AI 自身算法优化未见明显提速。SPADE 框架通过自博弈自动生成可执行训练环境，利用 Qwen3-30B-A3B 模型使游戏套件平均分达 58.3，较基线提升 8.1 分。
SemiAnalysis精选AI 评分8383 SemiAnalysis 发布开源智能体推理基准 AgentX 1.0
SemiAnalysis 宣布推出 AgentX 1.0，这是全球首个完全开源的多轮智能体编码推理基准，支持百万级上下文长度，采用 Apache 2.0 协议发布。
推荐理由：SemiAnalysis 发布首个百万上下文智能体编码推理基准 AgentX，并开源了针对 vLLM、SGLang 等框架的数十项上游优化，为评估 AI 硬件在真实多轮长上下文负载下的性能提供了新标准。
vLLM 官方博客AI 评分4545 vLLM 在 AMD GPU 上探索推测解码
vLLM 在 AMD Instinct MI300X/MI355X 上测试了原生 MTP、EAGLE-3 等五种推测解码方法，验证其通过单次目标模型校验多 token 提升吞吐。实验显示输出速度受草稿方式、提案长度及模型家族影响，该机制保留原模型行为并减少解码轮次。
vLLM 官方博客AI 评分5858 vLLM 发布基于 RDT 的大规模分片权重传输引擎
vLLM 推出利用 Ray Direct Transport (RDT) 的原生分片权重传输引擎，旨在解决在线 RL 中大规模模型权重同步的效率问题。该方案通过“记录张量”干运行生成分片计划，支持密集、MoE 及量化模型，并实现了预处理与传输的重叠优化。
vLLM 官方博客AI 评分3939 SkyRL 推出 IsoExec：消除 RL 训练与推理引擎不匹配
SkyRL 引入 IsoExec，通过统一执行契约和位级一致内核消除强化学习中训练与推理引擎的不匹配。在单节点 8×H100 上对 Qwen3.5-35B-A3B 进行 DAPO 训练时，平均 logprob 差异降至极低水平，相比基线仅增加 25% 开销。该方案支持 vLLM 和 Megatron，解决了浮点非结合性导致的调试难题。
SemiAnalysisAI 评分6868 Cerebras 发布 CS-4：基于 WSE-3 实现性能翻倍与模块化重构
Cerebras 发布第四代机架系统 CS-4，在沿用 5nm WSE-3 晶圆引擎的基础上，通过提升功耗和时钟频率使每晶圆 token/s/user 性能较 CS-3 翻倍。
Together AI BlogAI 评分4747 Together AI 平台支持在生产环境中对 LLM 进行 A/B 测试
Together AI 推出端点级 A/B 实验功能，允许在生产环境直接对比模型效果。该机制通过固定流量比例（如 95/5）路由请求至变体部署，且独立于副本数量以避免漂移。用户可通过 API 动态调整分流权重并关联平台指标与产品数据，实现无需修改客户端代码的模型评估。
vLLM 官方博客精选AI 评分6868 vLLM-Omni 发布分布式逐层卸载方案以支持 200B+ DiT 模型
vLLM-Omni 推出 Distributed Layerwise Offload (DLO) 技术，使超过单设备 HBM 容量的视频生成模型（如 Cosmos3-Super 124 GB）能在多 GPU/NPU 上高效运行。
推荐理由：原文提供了在 vLLM-Omni 中运行超大 DiT 模型的具体配置命令与内存优化机制，适合需要解决显存瓶颈的工程人员参考。
vLLM 官方博客精选AI 评分6565 vLLM 官方博客详解 DSpark 自适应验证机制以优化投机解码
vLLM 引入 enable_adaptive_verification 功能，利用 DSpark 置信度头动态决定每步验证的草稿 token 数量，使投机解码在并发 256 时仍保持吞吐优势。
推荐理由：vLLM 官方详解自适应验证机制，通过动态调整草稿预算解决高并发下投机解码性能瓶颈，提供可复现的配置与基准数据。