LangSmith LLM Gateway 进入公开测试版
LangSmith LLM Gateway 现已进入公开测试版，作为位于智能体与模型之间的中央治理层，提供运行时控制能力。该工具支持设置多级支出上限和速率限制以防止成本超支，并具备模型故障转移及敏感数据（PII）检测与脱敏功能。
AI 推荐理由：原文详述了网关在成本控制、故障转移及数据脱敏上的具体机制，为生产环境智能体治理提供了可落地的参考方案。
#部署/工程
LangChain Blog· AI 生成精选AI 评分6868
Google Developers Blog· AI 生成AI 评分3838 Google Cloud 在 TPU 上实现 Qwen3 Embedding 模型的高精度长上下文推理
Google Cloud 将 vLLM 原生集成至 TPU，支持 Qwen3-Embedding-8B 等模型进行高精度长上下文多模态嵌入推理。该方案通过硬件对齐与懒加载优化，确保文本及多模态输入在 TPU 上的余弦相似度分别达到 ≥0.999 和 ≥0.995，实现跨异构硬件的数学一致性。
vLLM 官方博客· AI 生成AI 评分4545 vLLM 在 AMD GPU 上探索推测解码
vLLM 在 AMD Instinct MI300X/MI355X 上测试了原生 MTP、EAGLE-3 等五种推测解码方法，验证其通过单次目标模型校验多 token 提升吞吐。实验显示输出速度受草稿方式、提案长度及模型家族影响，该机制保留原模型行为并减少解码轮次。
vLLM 官方博客· AI 生成AI 评分5858 vLLM 发布基于 RDT 的大规模分片权重传输引擎
vLLM 推出利用 Ray Direct Transport (RDT) 的原生分片权重传输引擎，旨在解决在线 RL 中大规模模型权重同步的效率问题。该方案通过“记录张量”干运行生成分片计划，支持密集、MoE 及量化模型，并实现了预处理与传输的重叠优化。
vLLM 官方博客· AI 生成AI 评分3939 SkyRL 推出 IsoExec：消除 RL 训练与推理引擎不匹配
SkyRL 引入 IsoExec，通过统一执行契约和位级一致内核消除强化学习中训练与推理引擎的不匹配。在单节点 8×H100 上对 Qwen3.5-35B-A3B 进行 DAPO 训练时，平均 logprob 差异降至极低水平，相比基线仅增加 25% 开销。该方案支持 vLLM 和 Megatron，解决了浮点非结合性导致的调试难题。
Together AI Blog· AI 生成AI 评分4747 Together AI 平台支持在生产环境中对 LLM 进行 A/B 测试
Together AI 推出端点级 A/B 实验功能，允许在生产环境直接对比模型效果。该机制通过固定流量比例（如 95/5）路由请求至变体部署，且独立于副本数量以避免漂移。用户可通过 API 动态调整分流权重并关联平台指标与产品数据，实现无需修改客户端代码的模型评估。
vLLM 官方博客· AI 生成精选AI 评分6868 vLLM-Omni 发布分布式逐层卸载方案以支持 200B+ DiT 模型
vLLM-Omni 推出 Distributed Layerwise Offload (DLO) 技术，使超过单设备 HBM 容量的视频生成模型（如 Cosmos3-Super 124 GB）能在多 GPU/NPU 上高效运行。
AI 推荐理由：原文提供了在 vLLM-Omni 中运行超大 DiT 模型的具体配置命令与内存优化机制，适合需要解决显存瓶颈的工程人员参考。
vLLM 官方博客· AI 生成精选AI 评分6565 vLLM 官方博客详解 DSpark 自适应验证机制以优化投机解码
vLLM 引入 enable_adaptive_verification 功能，利用 DSpark 置信度头动态决定每步验证的草稿 token 数量，使投机解码在并发 256 时仍保持吞吐优势。
AI 推荐理由：vLLM 官方详解自适应验证机制，通过动态调整草稿预算解决高并发下投机解码性能瓶颈，提供可复现的配置与基准数据。
Google Developers Blog· AI 生成AI 评分4040 HeyGen Avatar IV 迁移至 Google Cloud Trillium TPU，推理速度提升 1.86 倍
HeyGen 将拥有超 18B 参数的 Avatar IV 扩散模型栈迁移至 Google Cloud 八芯片 Trillium (v6e) TPU 主机，实现比首个可用版本快 1.86 倍的推理速度。通过优化 all-to-all 集合通信与稀疏注意力内核，该方案在保持输出质量的同时，成本效率较 8×H100 生产环境提升最高 25%。
vLLM 官方博客· AI 生成精选AI 评分8282 vLLM 宣布对 Qwen3.8-2.4T-A95B 提供 Day-0 支持
vLLM 团队宣布为 Qwen3.8-2.4T-A95B 提供 Day-0 支持，该模型基于 Qwen 3.5 架构，是首个开放权重的 Qwen-Max 级模型。
AI 推荐理由：vLLM 官方提供了 Qwen3.8-2.4T-A95B 的 Day-0 支持细节，包括 FP4 量化权重、硬件优化内核及基准测试数据，有助于开发者评估大规模稀疏 MoE 模型的部署成本与性能。
Modal 官方工程博客· AI 生成精选AI 评分6363 Qwen3.8-2.4T-A95B 开源模型上线 Modal
Qwen3.8-2.4T-A95B 作为开放权重模型正式发布，并已在 Modal 平台提供 Shared Endpoint 支持。相比 Qwen 3.7，该模型在编码、工作、研究和长程任务上均有显著提升。Modal 与 Qwen 团队合作实现了 Day Zero 支持，底层基于 SGLang 和针对 Qwen3.8 架构定制的 DFlash speculator，以加速推理过程。
AI 推荐理由：原文说明了新模型在Modal平台的即时可用性，以及通过自定义DFlash推测解码优化推理速度的具体技术实现。
vLLM 官方博客· AI 生成精选AI 评分8383 vLLM 宣布支持 NVIDIA Nemotron 3.5 Lightning 模型
vLLM 宣布对 NVIDIA Nemotron 3.5 Lightning 提供 Day-0 支持。该模型采用 30B 总参数、3B 激活参数的混合 MoE 架构，专为始终在线的智能体设计，支持最高 100 万 token 上下文窗口。
AI 推荐理由：原文给出了混合 MoE 架构、投机解码配置及多硬件部署指南，读者可据此评估其在智能体工作流中的效率与落地可行性。
vLLM 官方博客· AI 生成AI 评分4343 vLLM 发布 Decode Context Parallelism 优化长上下文推理
vLLM 推出 Decode Context Parallelism (DCP) 技术，通过沿序列维度分片 KV cache 解决 GQA/MLA 模型在张量并行下的显存复制瓶颈。实测显示，在 Kimi K2.6 模型上，DCP 使单 GPU 吞吐量从基线 TP 的 1,863 tok/s 提升至 6,091 tok/s，并支持高达 512 的并发请求。
vLLM 官方博客· AI 生成精选AI 评分6060 vLLM 官方博客详解 Qwen3.5 在 GB200 上达成 25K TPS/GPU 的优化与复现方法
vLLM 团队发布博客，展示如何通过解耦服务模式在 GB200 NVL72 系统上使 Qwen3.5-397B-A17B-NVFP4 模型达到超过 25,000 total TPS/GPU 的性能。
AI 推荐理由：vLLM 团队公开了 Qwen3.5 在 GB200 NVL72 上实现 25K TPS/GPU 的解耦服务配置、关键优化补丁及复现配方，为高性能推理部署提供直接参考。
Modal 官方工程博客· AI 生成AI 评分3838 Modal 推出分布式 I/O 平面，函数调用延迟降低约 80ms
Modal 完成新地理分布式 I/O 平面的迁移，使端到端 Function Call 延迟在 p50 水平降低约 80ms。该架构通过重写 Go 语言服务器、异步处理非关键任务及优化 Redis/Valkey 存储引擎实现性能提升。用户可通过 routing_region 参数指定输入输出路由区域以进一步减少网络开销。
Sierra Blog· AI 生成AI 评分5050 Sierra 推出 Agency：为 Pinecone 和 Ghostwriter 提供安全可扩展的智能体沙箱
Sierra 发布 Agency，作为其智能体基础设施层，为 Pinecone 和 Ghostwriter 提供安全、可扩展的沙箱环境。该原生 Kubernetes 应用由无状态控制平面和有状态运行器组成，支持按需配置具备 8+ 核心与 24GiB 内存的计算资源。Agency 旨在解决第三方沙箱在资源限制与客户数据安全性上的不足，确保智能体能自主执行长时间运行的复杂任务。
Berkeley AI Research· AI 生成精选AI 评分6262 K-Search 框架实现从 CUDA 到 MLX 的内核优化知识迁移
Berkeley AI Research 团队扩展 K-Search 框架并引入 MLX 后端，通过结构化 CUDA-to-MLX 翻译层自动迁移内核优化知识。该方法在 Apple Silicon 上使 Attention 内核达到原生 MLX 的 0.97x 速度，并在 Mamba SSM 内核 prefill 阶段相比社区实现获得最高 20x 加速。
AI 推荐理由：原文展示了通过结构化翻译层将 CUDA 优化知识迁移至 Apple Silicon 的方法，实现了接近专家级的内核性能。
Together AI Blog· AI 生成精选AI 评分6868 Together AI 发布 ThunderAgent：面向大规模智能体推理的加速系统
Together AI 推出 ThunderAgent，一种用于高吞吐量智能体推理的系统，通过将每个智能体工作流抽象为可调度的程序来解决 KV cache 抖动问题。
AI 推荐理由：ThunderAgent 通过程序级调度解决 KV cache 抖动，在合成数据生成中实现最高 2.5 倍吞吐提升且兼容现有引擎。
vLLM 官方博客· AI 生成AI 评分3838 vLLM 在 Arm CPU 上的性能优化
vLLM 联合 PyTorch、oneDNN 等社区优化 Arm Neoverse 服务器上的大语言模型推理，通过启用 mimalloc 分配器和 LSE 原子指令解决瓶颈。Llama 3.1 8B 离线吞吐量提升 2.3 倍，低并发场景下 TPOT 延迟降低 15%。
Ai2 / Allen Institute for AI· AI 生成AI 评分4242 Ai2 推出 OlmoEarth Platform：实现行星尺度地理空间推理
Ai2 发布 OlmoEarth Platform，支持将地球观测基础模型从微调扩展至大规模推理。该平台通过 CPU/GPU 分工与并行处理，可在约一天内完成大陆级区域推理，成本低至每平方公里几分钱。近期北美野火风险地图生成中，平台利用近两万个 CPU 和近千个 GPU 实现 155 倍加速。
vLLM 官方博客· AI 生成精选AI 评分8383 vLLM 发布 Kimi K3 Day-0 高效支持指南
vLLM 宣布为开源多模态 MoE 模型 Kimi K3 提供 Day-0 支持，涵盖架构适配、内核优化及部署配方。在 16 张 NVIDIA GB300 NVL72 GPU 上，启用 DSpark 推测解码后单用户吞吐可达 370 tok/s，较无推测解码提升 3.14 倍。该支持包括混合前缀缓存、预填充/解码分离及 AMD ROCm 兼容，相关 Docker 镜像和详细配置已开放获取。
AI 推荐理由：vLLM 官方给出了 Kimi K3 的 Day-0 支持细节与性能数据，开发者可据此评估其在生产环境中的部署可行性。
Together AI Blog· AI 生成精选AI 评分6868 Together AI 发布面向开源权重模型的专用推理平台
Together AI 推出 Dedicated Model Inference 平台，旨在为开源及微调模型提供兼顾控制权与易用性的生产级推理服务。该平台内置经过验证的部署配置文件，支持从 Hugging Face 或 S3 导入模型，并通过优化的缓存层实现约 4 倍的快速启动。
AI 推荐理由：Together AI 推出专用推理平台，通过预优化配置和金丝雀发布机制，降低开源模型生产环境部署门槛并提升迭代安全性。
vLLM 官方博客· AI 生成AI 评分5050 vLLM 发布 AFD 插件：解耦 Attention 与 FFN 以灵活服务 MoE 模型
vLLM 推出实验性 AFD 插件，将 Mixture-of-Experts 模型的 Attention 和 FFN 分离为独立服务以实现弹性扩展。该插件支持 NVIDIA GPU 和 Ascend NPU，兼容 DeepSeek V2/V3 系列模型及 OpenAI 接口。目前项目处于实验阶段，需进一步进行大规模硬件测试。
vLLM 官方博客· AI 生成精选AI 评分6666 vLLM官方博客：在24张NVIDIA B300 GPU上部署GLM-5.2并满足生产级SLA的实践指南
DaoCloud团队在vLLM官方博客发布文章，介绍了如何在24张NVIDIA B300 GPU上部署GLM-5.2-NVFP4模型以满足生产级SLA要求。通过采用分离式P/D架构、推测解码填充、Model Runner V2及IndexerCache等优化手段，将平均TPOT从约40ms降至17ms，同时保持TTFT低于2.5秒。
AI 推荐理由：文章详细记录了在24张B300 GPU上部署GLM-5.2的全过程，提供了从TPOT优化到最终SLA达标的具体配置和命令。
Sierra Blog· AI 生成AI 评分4545 Sierra 构建 MCP Gateway 的工程实践与教训
Sierra 基于 Model Context Protocol (MCP) 构建统一 Gateway，连接 Slack、GitHub 等内部系统以支持 AI Agent。团队通过“Grab the lock”机制减少协调瓶颈，利用 `mcp-gateway.md` 文档约束 Coding Agents 行为，并采用最小化数据暴露策略防止跨客户敏感信息泄露。
Modal 官方工程博客· AI 生成精选AI 评分6060 Modal 与 Cognition 合作推出 Devin Outposts 支持在自定义沙箱中运行 AI 软件工程师
Cognition 推出 Devin Outposts，允许将 Devin 的执行环境迁移至用户可控的配置中，而推理仍保留在 Cognition 云端。Modal 作为首发合作伙伴提供 `modal-devin` 开源集成，使 Devin 会话能在 Modal Sandbox 中运行，利用其快速冷启动、GPU 按需分配及快照功能。
AI 推荐理由：原文说明了 Devin Outposts 如何将执行环境移至用户控制的 Modal Sandbox，同时保留云端推理，并提供了开源集成工具的具体配置方法。
Modal 官方工程博客· AI 生成精选AI 评分6868 Modal 重构沙箱平台支持百万并发及每秒数万创建
Modal 宣布重建其核心沙箱平台，新系统支持数百万并发沙箱运行，并能以每秒数万个的速度创建沙箱。该架构移除了控制平面中的中心瓶颈，采用无协调的分布式调度设计，使调度路径简化为负载均衡器直接在计算节点上创建容器。实测显示，100 万个沙箱可在不到一分钟内全部创建完成，中位启动时间低于半秒。目前该系统已开放 Beta 测试，用户可通过简单代码修改启用。
AI 推荐理由：原文展示了去中心化调度架构如何实现百万级沙箱并发与秒级创建，为高吞吐 Agent 基础设施提供了可参考的工程范式。
Together AI Blog· AI 生成AI 评分3838 Together AI 解析推理服务 99.9% 正常运行时间的架构要求
Together AI 指出实现 99.9% 推理正常运行时间需跨双数据中心部署模型权重并持续运行实时流量，而非冷备。该架构依赖对硬件、网络及软件的端到端控制权以消除故障域盲区，确保在单设施失效时能无缝切换负载。
Together AI Blog· AI 生成AI 评分3434 Together GPU Clusters 增强生产级可靠性与运维控制
Together AI 为 Together GPU Clusters 推出被动健康检查、自动节点修复及 Slurm-on-K8s 2.0，以解决大规模训练中的硬件故障与调度漂移。新方案通过持续监控实时负载识别 GPU 掉线等异常，并提供人工审批的自动修复流程。升级后的 Slurm 栈实现了自愈守护进程、持久化作业记账及准确的 GPU 状态管理，显著提升了集群稳定性。
Modal 官方工程博客· AI 生成AI 评分3333 Modal 将自身定义为运行程序的计算机
Modal 官方将其定位为“一台计算机”，通过分层存储、内存映射 I/O 及网络接口处理信息，而非简单的云服务商。其架构包含容器运行时、Input/Output Plane 和 Routing Plane，支持 Python 函数、Linux 进程及 HTTP 服务等多种程序形态。该设计利用对象存储与共享驱动实现多租户效率与单租户安全性的平衡。
Modal 官方工程博客· AI 生成AI 评分4040 Modal 发布交互式工具解析 Serverless GPU 与预留实例定价策略
Modal 推出交互式成本估算工具，对比 B200 GPU 的 Serverless 与三年预留定价。当负载峰值均值比超过预留折扣率时，Serverless 更具成本优势；推理等典型场景比值达 5:1 至 10:1，使其比预留更便宜。
Modal 官方工程博客· AI 生成AI 评分4444 Modal 与 NYU Shanghai 提出 Multi-token Residual Prediction 加速扩散语言模型
Modal Research 与 NYU Shanghai HeavyBall Research 联合推出 Multi-token Residual Prediction (MRP) 模块，将多 token 预测引入扩散语言模型。
Together AI Blog· AI 生成AI 评分4545 Together AI 在 ICML 2026 展示全栈前沿研究
Together AI 在 ICML 2026 发布九篇论文，覆盖从智能体到 GPU 内核的全栈优化。ThunderAgent 实现最高 3.6× 智能体推理加速，TTT-Discover 用开源 gpt-oss-120b 模型以约 $500 成本超越人类最佳发现。Aurora 自适应推测解码与 Untied Ulysses 支持单节点 5M-token 上下文，共同提升平台效率。
Modal 官方工程博客· AI 生成精选AI 评分6262 Modal 推出 Servers 功能实现超低延迟 HTTP 服务
Modal 正式推出 Servers 功能，专为 HTTP、WebSocket 和 gRPC 流量设计，旨在满足 LLM 推理等对毫秒级延迟敏感的应用场景。该功能通过移除请求路径中的队列和控制平面查找，将 p50 延迟从 39ms 降低至 6ms。
AI 推荐理由：原文详细拆解了将 p50 延迟从 39ms 降至 6ms 的架构取舍，为低延迟推理服务提供了具体的工程参考。
Modal 官方工程博客· AI 生成AI 评分4242 Modal 推出 Auto Endpoints，利用推测解码实现 SOTA 推理延迟
Modal 发布 Auto Endpoints，通过结合 Blackwell GPU、SGLang 引擎与推测解码优化，实现低延迟推理。在 Decagon Voice 案例中，该方案将 p50 延迟从约 290ms 降低 100ms，优于专有服务商表现。
Together AI Blog· AI 生成AI 评分4545 ParallelKernelBench：前沿 LLM 难以编写高效多 GPU 内核
ParallelKernelBench (PKB) 基准测试显示，GPT-5.5、Claude Opus 4.7 等前沿模型在多 GPU CUDA 内核生成上表现不佳。零样本下最佳模型仅正确解决 87 个问题中的 28 个，且只有 22 个优于 PyTorch + NCCL 基线；采样三次后快速通过率仍不足 31%。
Modal 官方工程博客· AI 生成精选AI 评分6868 Modal 发布 Auto Endpoints：提供可完全掌控的生产级 LLM 推理服务
Modal 推出 Auto Endpoints，允许用户通过单条命令部署兼容 OpenAI API 的生产级 LLM 推理服务，实现从 GPU 选择到引擎调优的全链路代码可见性。
AI 推荐理由：原文展示了从黑盒 API 到可观测代码的推理服务范式转变，读者可以据此评估自建推理栈的成本与性能平衡。
Modal 官方工程博客· AI 生成AI 评分4242 Modal 解析沙箱启动延迟：为何 Started 不等于 Ready
Modal 指出沙箱启动中容器调度仅占极小部分，应用初始化才是主要延迟来源。其正式推出 Readiness Probes 以精准标记沙箱就绪状态，并建议结合 Sandbox pools 与 Directory Snapshots 预置环境，从而消除用户感知的启动等待时间。
Modal 官方工程博客· AI 生成AI 评分4040 Modal 产品更新：VM Sandboxes、区域路由、RBAC 及更多
Modal 推出 VM Sandboxes Alpha 版以支持真实 Linux 内核，并新增区域路由以降低延迟。同时上线 RBAC 权限控制、Named Images 镜像共享及 Sandbox 域名白名单功能。Python SDK 更新至 v1.5.0，JS/Go SDK 更新至 v0.8.0，Sandbox 快照默认 TTL 调整为 30 天。
Modal 官方工程博客· AI 生成AI 评分4545 Modal 优化 FlashAttention-4 内核以提升 LLM 推理性能
Modal 通过调整并行策略和支持不规则内存访问，优化了 FlashAttention-4 内核以适配大语言模型推理。新增 FP8 输入支持使吞吐量较 bf16 基线提升最高 1.16x，并显著减小 KV cache 体积。这些改进针对 decode-heavy 工作负载，利用 CuTe DSL 实现了更高效的低精度计算与长上下文处理。