Amazon SageMaker AI 优化 Mixture-of-Experts 内核工程
Amazon SageMaker AI 通过 Swap-AB 技术优化 Hopper 架构上的 MoE 内核，将专家维度映射至固定行数以提升 WGMMA 利用率，使 H200 上的端到端吞吐量提高 2–4%，该优化已集成至 vLLM 0.24.0+。针对 FP8 量化模型，Triton 后端因寄存器级融合与单次内存访问特性，在低并发场景下性能优于默认的 FlashInfer+CUTLASS 路径。
#部署/工程
AWS Machine Learning Blog· AI 生成AI 评分3535 LangChain Blog· AI 生成精选AI 评分6868 LangChain 集成 ScaleDown 以优化长运行智能体上下文管理
LangChain 发布 langchain-scaledown 集成，利用 ScaleDown 的受限解码模型（CDMs）来高效处理长运行智能体的上下文管理任务。
AI 推荐理由：LangChain 集成 ScaleDown 受限解码模型，提供摘要、压缩和提取中间件，帮助开发者低成本管理长运行智能体的上下文。
vLLM 官方博客· AI 生成精选AI 评分6262 vLLM 推出双向 KV 传输以优化多轮智能体工作负载 TTFT
vLLM 发布双向 KV Cache 传输功能，允许预填充节点复用解码节点保留的 KV 块，从而减少多轮对话中的重复计算并降低首 Token 时间（TTFT）。
AI 推荐理由：vLLM 引入双向 KV 传输机制，通过复用解码节点缓存显著降低多轮智能体工作负载的 TTFT，为长上下文场景提供可落地的性能优化方案。
AWS Machine Learning Blog· AI 生成AI 评分3737 泰国、马来西亚等五地可通过 Amazon Bedrock 全球跨区域推理访问 OpenAI GPT-6 模型
Amazon Bedrock 在泰国、马来西亚、新加坡、印尼和台湾推出全球跨区域推理，支持访问 OpenAI GPT-6 Sol、Luna 和 Astra。用户可从上述源区域调用这些模型，利用其他 AWS 区域的容量以缓解单区域限流。GPT-6 系列均支持文本图像输入及提示缓存，通过 Converse API 或 OpenAI 兼容接口接入。
Modal 官方工程博客· AI 生成AI 评分4242 Modal 推出 Endpoint Candidates 用于评估与提升推理端点
Modal 正式推出 Endpoint Candidates，允许用户为 Dedicated Endpoints 暂存替代部署以评估质量、延迟、吞吐量和成本。该功能支持镜像生产流量并独立运行基础设施，用户可通过仪表盘监控指标并在验证后一键提升至生产环境。Endpoint Candidates 现已在 Modal 所有工作区全面可用，采用标准计算定价。
AWS Machine Learning Blog· AI 生成AI 评分3636 AWS 推出 Ray LLM Deep Learning Containers 支持多节点推理
AWS 发布 Ray LLM Deep Learning Containers，支持在 Amazon EKS 上跨两个 GPU 节点部署大语言模型。该容器集成 vLLM、NIXL 和 EFA，通过分离 Prefill 与 Decode 阶段实现解耦推理，并暴露 OpenAI 兼容 API。
AWS Machine Learning Blog· AI 生成AI 评分3838 在 Amazon SageMaker AI 上使用 llama.cpp 部署决策模型
该方案利用 AWS Deep Learning Containers (DLC) for llama.cpp，在 Amazon SageMaker AI 上通过 SemIf 适配器实现结构化决策推理。
NVIDIA Blog· AI 生成AI 评分5050 NVIDIA 在 OCP 峰会开放 Vera Rubin 架构以扩展全球 AI 工厂
NVIDIA 在 OCP 全球峰会上通过 MGX 开源架构贡献了 Vera Rubin 机架与计算托盘设计，旨在加速全球 AI 工厂规模化部署。MGX 1.2 规范支持最高 250kW 机架功率及盲插液冷技术，并新增面向智能体时代的 Vera CPU 机架设计。此外，NVIDIA 发布了 DSX AI Factory 的开源软件组件，涵盖网络配置、集群验证及裸机供应等功能。
vLLM 官方博客· AI 生成精选AI 评分7878 vLLM 宣布支持 NVIDIA Vera Rubin NVL72，吞吐量较 GB200 提升 7.8 倍
vLLM 正式宣布支持 NVIDIA Vera Rubin NVL72 平台，在 AgentX 基准测试中实现每 GPU 吞吐量较 GB200 NVL72 提升 7.8 倍。
AI 推荐理由：vLLM 官方展示了在 Vera Rubin NVL72 上的初步性能数据与内核优化细节，为评估下一代硬件的推理收益提供了具体参考。
AWS Machine Learning Blog· AI 生成AI 评分4242 Postman 如何在 Amazon Bedrock 上为 4000 万开发者运行 Agent Mode
Postman 基于 Amazon Bedrock 构建 Agent Mode，服务 4000 万开发者。该架构通过向量数据库将 170+ 工具动态筛选至约 15 个以解决工具蔓延问题，并集成 Guardrails 进行 PII 脱敏及多层级提示词缓存，实现跨地域推理与零数据保留。
Hugging Face Blog· AI 生成AI 评分4949 Ai2 实施 GPU 集群高影响力调度策略
Ai2 用包含 GPU 时间预算、层级公平份额分配和时间切片合约的系统替换了基于优先级的调度器。该方案将资源争夺转化为透明的行政预算流程，解决了 NVIDIA H100/B200/B300 集群中的“公地悲剧”与优先级通胀问题。
Ai2 / Allen Institute for AI· AI 生成AI 评分4040 Ai2 用 GPU 时间预算与层级公平分配替代优先级调度以提升集群影响力
Ai2 将 GPU 集群调度从优先级模式改为包含 GPU 时间预算、层级公平分配和时间切片契约的系统，以解决资源竞争导致的“公地悲剧”。该方案使高价值研究获得资源的频率（即影响力）成为核心指标，并将算力分配决策转化为透明的行政预算流程。目前 Ai2 管理数千块 NVIDIA H100、B200 和 B300 GPU，面临 2-3 倍的超额需求，新机制旨在维持满负荷运行的同时优化科研产出。
LangChain Blog· AI 生成AI 评分3535 Snyk 如何将内部支持 Agent 转化为客户功能
Snyk 基于 LangChain 和 LangGraph 构建的 AI 安全助手 Snyk Assist，于 2026 年 9 月从内部工具正式转为面向所有付费客户的核心产品功能。该智能体通过 LangSmith 进行可观测性管理与评估，利用中间件处理权限、状态及护栏，确保仅返回用户有权访问的数据并支持自动化工单等操作。
AWS Machine Learning Blog· AI 生成AI 评分5353 AWS 详解 AI 智能体按次推理付费：Incarna 与 BlockRun 基于 Amazon Bedrock AgentCore payments 的实践
Amazon Bedrock AgentCore payments 为 AI 智能体提供托管的按需支付能力，支持 x402 协议并在基础设施层强制执行支出限制。Incarna 利用该服务让智能体向 BlockRun 按请求购买模型推理，将集成工作从数月缩短至三天，并上线了端到端的按次付费流程。该方案通过 Coinbase CDP 钱包和 USDC 结算，确保每笔交易可审计且智能体无法超出预设预算。
AWS Machine Learning Blog· AI 生成AI 评分3131 Amazon SageMaker HyperPod 多租户架构：实现 GPU 集群隔离与公平共享
Amazon SageMaker HyperPod 提供基于 EKS 的多租户参考架构，支持团队间共享 GPU 集群并保障隔离与公平性。该方案整合 AWS IAM Identity Center、Kubernetes 命名空间及 HyperPod Task Governance，实现资源配额管理与成本分摊。
AWS Machine Learning Blog· AI 生成AI 评分3131 Amazon Quick 与 Amazon Bedrock 如何通过实时 ACL 验证解决 RAG 访问控制难题
Amazon Quick 和 Amazon Bedrock Knowledge Bases 采用实时 ACL 验证机制，在查询时直接调用权威数据源 API 校验权限，以解决传统 RAG 中因同步延迟导致的权限过期问题。该方案结合预检索过滤与实时验证两阶段架构，确保 AI 生成的答案严格遵循用户当前的文档访问权限，避免泄露敏感信息。
LangChain Blog· AI 生成精选AI 评分6565 LangChain Deep Agents 升级 Skills 支持：新增工具绑定与动态重载
LangChain 宣布在 Deep Agents 中全面升级 Skills 支持，旨在解决企业级大规模技能库的管理难题。
AI 推荐理由：原文详细说明了工具绑定、固定加载和动态重载机制，展示了如何优化大规模技能库的上下文管理。
AWS Machine Learning Blog· AI 生成AI 评分3232 Cornerstone OnDemand 如何利用 Amazon Bedrock 将数据库诊断时间缩短 78%
Cornerstone OnDemand 基于 Amazon Bedrock 和 Strands Agents 构建多智能体系统 Orion AI，将数据库诊断时间从 45 分钟降至 10 分钟，效率提升 78%。该系统通过自动化工作流将手动生命周期步骤减少 70%，并实现 SRE 与数据团队的实时报告，同时使冗余警报中位数降低 65%。
AWS Machine Learning Blog· AI 生成AI 评分2323 AWS 发布构建 AI 能力指南：缩小非技术人员知识-能力差距
AWS 推出六周结构化计划，帮助非技术背景员工利用 Amazon Bedrock AgentCore 和 Strands Agents SDK 构建 AI 原型。参与团队基于 Amazon Nova 模型开发多智能体金融顾问 WealthWise，实现亚秒级响应并获第一名。数据显示，分阶段学习比短期集训保留更多实用技能，90% 受访者渴望动手实践以弥合概念与落地间的差距。
AWS Machine Learning Blog· AI 生成AI 评分3535 AWS DevOps Agent 结合 Lambda Durable Functions 实现自动化修复
AWS 推出基于 AWS DevOps Agent、Amazon EventBridge、AWS Lambda Durable Functions 和 Amazon Bedrock 的自动化修复工作流。
AWS Machine Learning Blog· AI 生成AI 评分4242 基于 AgentCore 和 OpenClaw 构建上下文感知 AI 助手
利用开源智能体系统 OpenClaw 在 Amazon Bedrock AgentCore runtime 上构建具备记忆能力的个人助手，通过 AgentCore memory 将对话转化为持久知识。该架构支持按任务路由 Claude Haiku 4.5（文本）与 Claude Sonnet 4.5（视觉），采用消费型计费使轻量使用成本降至每月约 $1–2。
AWS Machine Learning Blog· AI 生成AI 评分2424 SageMaker Studio 支持直接管理 HyperPod Spaces
Amazon SageMaker Studio 新增功能，允许用户直接在 UI 中创建和管理 SageMaker HyperPod Spaces。数据科学家无需使用 CLI 或 kubectl，即可在浏览器中启动 JupyterLab 和 Code Editor 环境。该集成简化了从集群访问到开发的工作流，支持通过引导式表单配置计算资源、命名空间及存储。
AWS Machine Learning Blog· AI 生成AI 评分2020 Amazon SageMaker HyperPod 在 Unified Studio 中的治理最佳实践
AWS 发布指南，阐述如何通过 SageMaker Unified Studio 管理共享的 SageMaker HyperPod 集群。文章详解组织、项目、集群和工作负载四层控制边界，涵盖身份、容量分配及可观测性策略设计。该方案旨在让基础设施团队集中管控集群，同时允许 ML 团队在项目上下文中安全启动工作负载。
Together AI Blog· AI 生成AI 评分3535 Together AI 联合 IBM Cloud 与 NVIDIA 扩展企业级推理容量
Together AI 宣布与 IBM 和 NVIDIA 合作，在 IBM Cloud 上部署首个专用大规模 NVIDIA B300 GPU 推理集群。该集群采用 NVIDIA Spectrum-X Ethernet 网络，旨在为超过百万开发者提供每月数百兆 token 的企业级开源模型推理服务。
AWS Machine Learning Blog· AI 生成AI 评分3333 Amazon Quick 通过 MCP Server 实现跨账户资源自动化迁移
Amazon Quick 推出基于 Amazon Bedrock AgentCore 的 MCP Server，实现开发到生产环境的跨账户资源自动化迁移。该方案支持 Chat agents、Action connectors 等资源的幂等 Upsert 操作，自动复制权限并保留版本化备份，解决了手动重建易出错且难审计的问题。
AWS Machine Learning Blog· AI 生成AI 评分1515 Amazon Quick 用户角色降级操作指南
Amazon Quick 控制台不支持从 Author/Admin 直接降级至 Reader，需通过删除重建或 AWS CLI 按 Admin > Author > Restricted Reader > Reader 序列执行。此举旨在落实最小权限原则并降低基于角色的订阅成本，操作前须先转移仪表盘等资源所有权以防孤立。
OpenRouter Announcements· AI 生成精选AI 评分6868 OpenRouter 对比 OpenAI、Anthropic 和 Google 的服务器端代码执行工具
OpenRouter 发布博客对比 OpenAI、Anthropic、Google 及自家 openrouter:shell 工具的服务器端代码执行能力。OpenRouter 的工具支持任意模型在 Responses 和 Messages API 中运行命令，沙箱默认无外网访问，按 $0.0001/秒计费且新容器最低收费 30 秒。
AI 推荐理由：文章对比了四家服务商的托管代码执行工具，明确了各自沙箱能力、计费模式及适用场景，为开发者选型提供了具体依据。
Modal 官方工程博客· AI 生成AI 评分3636 TypeSafe AI 的 Jev 模型在 Modal 上三天内处理超万亿 token
TypeSafe AI 推出的非自回归 System One 模型 Jev，借助 Modal 平台在发布后三天内处理了超过一万亿个 token。该模型采用并行采样架构，专注于低延迟的结构化决策输出，上线一周即在 OpenRouter 1K-10K 上下文区间占据 15.1% 的请求份额。
NVIDIA Blog· AI 生成AI 评分2626 NVIDIA AI 工厂如何通过高产出、长寿命与通用性最大化投资回报
NVIDIA AI 工厂通过全栈协同设计实现每兆瓦最高吞吐量，Vera Rubin NVL72 系统较 GB300 NVL72 提升超 30x 吞吐并降低至多 45x 成本。其硬件具备长使用寿命，A100 GPU 服役六年仍具经济价值，且 CUDA 平台支持跨代兼容以延长资产收益周期。该架构兼具通用性，可运行语言、视觉及物理 AI 等多种负载，从而在需求变化中确保持续盈利。
Modal 官方工程博客· AI 生成精选AI 评分7070 Modal Clusters 正式全面可用
Modal 宣布其多节点计算原语 Modal Clusters 正式全面可用（GA），用户可通过 `@modal.clustered` 装饰器快速启动集群。该功能支持高达 6.4 Tbps 的 InfiniBand RDMA 通信，自动配置 PyTorch 和 NCCL，并按秒计费。
AI 推荐理由：原文详细说明了集群调度、RDMA 网络集成及秒级计费机制，为需要多节点训练或推理的用户提供了具体的基础设施方案。
LangChain Blog· AI 生成精选AI 评分7373 TypeSafe AI 发布 Jev 模型并集成至 LangChain
TypeSafe AI 发布了名为 Jev 的 System One 模型，该模型不生成文本而是通过强化学习进行快速的结构化分类决策，官方称其在分类任务上推理速度比同类 LLM 快 200 倍且成本低 400 倍。LangChain 已提供 `langchain-typesafe` 集成，支持通过 `TypeSafeClassifier` 调用该模型实现模型路由和自动模式下的工具调用安全拦截。
AI 推荐理由：原文介绍了 TypeSafe AI 发布的 Jev 模型及其在 LangChain 中的集成方式，展示了如何通过结构化决策优化智能体循环的效率与成本。
Modal 官方工程博客· AI 生成精选AI 评分7878 Modal 正式推出 VM Sandboxes 以支持智能体运行完整计算机环境
Modal 宣布其 VM Sandboxes 功能正式全面可用（GA），允许开发者通过单一配置标志为 AI 智能体提供完整的 Linux 虚拟机环境。该功能基于 Cloud Hypervisor 构建，保留了原有 gVisor Sandbox 的 API、亚秒级冷启动和突发资源能力，并支持 Docker、本地数据库及图形界面等复杂工作负载。
AI 推荐理由：官方详细说明了 VM Sandboxes 的技术实现与早期客户案例，为需要完整 Linux 环境的 Agent 开发者提供了具体的迁移参考。
Modal 官方工程博客· AI 生成AI 评分4545 Modal 在 Runtime 大会发布 VM Sandboxes、多节点集群及 Sticky Sessions 等新功能
Modal 在首届 Runtime 大会上发布了多项新功能，包括支持智能体访问完整 Linux 环境的 VM Sandboxes、通过 `@modal.clustered` 装饰器实现的多节点集群以及用于维持状态的 Sticky Sessions。
OpenRouter Announcements· AI 生成精选AI 评分6868 OpenRouter 指南：如何在 CI 中基于 LLM 评估门控 Pull Request
OpenRouter 发布教程指导开发者在 CI 流程中利用固定评估集对 Pull Request 进行质量门控，以防止系统提示词修改导致智能体行为回归。该方案通过将评估脚本集成至 GitHub Actions 并设置必需状态检查，当通过率低于阈值时自动阻断合并，文中详细演示了路径过滤、多数投票采样及阈值测量方法以消除模型输出噪声。
AI 推荐理由：原文提供了在CI中通过固定评估集拦截提示词回归的完整脚本与配置，读者可据此构建防止智能体行为漂移的质量门禁。
OpenRouter Announcements· AI 生成精选AI 评分6565 OpenRouter 发布基于置信度的模型升级路由指南
OpenRouter 发布指南介绍如何通过模型自报置信度分数实现动态路由，让低成本模型处理高确信请求，仅将低确信请求升级至更强模型。该方案利用结构化输出强制返回数值型置信字段，并建议通过自有流量测试误差率分布来设定和持续调整路由阈值，以平衡成本、延迟与准确性。
AI 推荐理由：提供了基于模型自报置信度进行动态路由的五步实施指南，包含结构化输出配置与阈值校准方法。
Google Developers Blog· AI 生成AI 评分3232 Google 在 TPU 上加速视频扩散模型的时空注意力机制
Google 通过优化稀疏注意力内核，在 TPU v6e 芯片上显著提升了视频扩散模型的推理速度。该方案利用空间与时间头的几何结构特性，仅保留约 38.87% 的查询-键交互对，从而降低计算延迟。这一实现将理论上的稀疏性转化为端到端的实际加速效果。
vLLM 官方博客· AI 生成精选AI 评分7171 vLLM 官方博客发布分离式推理实战指南
vLLM 官方博客发布《Taking vLLM Apart》指南，详解如何通过分离 Prefill 和 Decode 阶段以及将 CPU 工作移至前端来优化 LLM 推理服务。
AI 推荐理由：原文结合实测数据与代码示例，拆解了 vLLM 分离式推理的适用场景、性能权衡及具体配置方法。
LangChain Blog· AI 生成精选AI 评分6060 LangSmith 发布 Engine v2、托管深度智能体 v0.8 及微调等新功能
LangSmith 在 Interrupt NYC 大会上发布了多项新功能，包括用于自动检测问题并测试修复方案的 Engine v2，以及支持用户级记忆和内置网络搜索的 Managed Deep Agents v0.8。
AI 推荐理由：原文详细列出了 LangSmith Engine v2、Managed Deep Agents v0.8 及微调工具等具体功能变化，为开发者提供了评估现有 Agent 工作流升级路径的直接依据。
LangChain Blog· AI 生成精选AI 评分8080 LangChain 讲解如何结合 Jev 和 LangGraph 构建生产级智能体
LangChain 发布指南介绍如何利用 TypeSafe AI 的 Jev 决策模型与 LangGraph 框架构建“prod, not god”的生产级智能体系统。
AI 推荐理由：原文结合 Jev 决策模型与 LangGraph 编排框架，展示了构建低成本、高可靠性生产级智能体的具体架构模式。
LangChain Blog· AI 生成AI 评分4242 LangSmith 推出 Custom Apps：在平台内构建自定义 Agent 数据界面
LangSmith 发布 Custom Apps，允许用户在平台内直接构建、发布并运行基于 Agent 数据的自定义 UI。该功能支持通过 Chat 提示或代码模板开发，免去了托管、认证及权限配置等维护工作。目前 Plus 计划包含一个应用，Enterprise 计划提供无限数量，同时其设计系统 Macaw 已开源。