Amazon SageMaker HyperPod 在 Unified Studio 中的治理最佳实践
AWS 发布指南，阐述如何通过 SageMaker Unified Studio 管理共享的 SageMaker HyperPod 集群。文章详解组织、项目、集群和工作负载四层控制边界，涵盖身份、容量分配及可观测性策略设计。该方案旨在让基础设施团队集中管控集群，同时允许 ML 团队在项目上下文中安全启动工作负载。
#部署/工程
AWS Machine Learning BlogAI 评分2020
The DecoderAI 评分4242 Cohere 推出 North 2：支持任意模型的 AI 智能体控制中心
Cohere 发布企业级平台 North 2，作为兼容任意模型的 AI 智能体控制中心。该平台通过全新编排系统协调智能体，支持多步工作流、跨会话上下文保留及本地或气隙部署。管理员可通过 North Admin 管控 Token 用量与权限，关键操作需人工审批，目前已在 LG CNS 和 Bell Cyber 生产环境运行。
Together AI BlogAI 评分3535 Together AI 联合 IBM Cloud 与 NVIDIA 扩展企业级推理容量
Together AI 宣布与 IBM 和 NVIDIA 合作，在 IBM Cloud 上部署首个专用大规模 NVIDIA B300 GPU 推理集群。该集群采用 NVIDIA Spectrum-X Ethernet 网络，旨在为超过百万开发者提供每月数百兆 token 的企业级开源模型推理服务。
AWS Machine Learning BlogAI 评分3333 Amazon Quick 通过 MCP Server 实现跨账户资源自动化迁移
Amazon Quick 推出基于 Amazon Bedrock AgentCore 的 MCP Server，实现开发到生产环境的跨账户资源自动化迁移。该方案支持 Chat agents、Action connectors 等资源的幂等 Upsert 操作，自动复制权限并保留版本化备份，解决了手动重建易出错且难审计的问题。
AWS Machine Learning BlogAI 评分1515 Amazon Quick 用户角色降级操作指南
Amazon Quick 控制台不支持从 Author/Admin 直接降级至 Reader，需通过删除重建或 AWS CLI 按 Admin > Author > Restricted Reader > Reader 序列执行。此举旨在落实最小权限原则并降低基于角色的订阅成本，操作前须先转移仪表盘等资源所有权以防孤立。
OpenRouter Announcements精选AI 评分6868 OpenRouter 对比 OpenAI、Anthropic 和 Google 的服务器端代码执行工具
OpenRouter 发布博客对比 OpenAI、Anthropic、Google 及自家 openrouter:shell 工具的服务器端代码执行能力。OpenRouter 的工具支持任意模型在 Responses 和 Messages API 中运行命令，沙箱默认无外网访问，按 $0.0001/秒计费且新容器最低收费 30 秒。
推荐理由：文章对比了四家服务商的托管代码执行工具，明确了各自沙箱能力、计费模式及适用场景，为开发者选型提供了具体依据。
Modal 官方工程博客AI 评分3636 TypeSafe AI 的 Jev 模型在 Modal 上三天内处理超万亿 token
TypeSafe AI 推出的非自回归 System One 模型 Jev，借助 Modal 平台在发布后三天内处理了超过一万亿个 token。该模型采用并行采样架构，专注于低延迟的结构化决策输出，上线一周即在 OpenRouter 1K-10K 上下文区间占据 15.1% 的请求份额。
Simon WillisonAI 评分4242 Simon Willison 呼吁为按量付费服务默认启用硬性预算上限
Simon Willison 主张在按量付费服务和 API 中默认启用硬性预算上限，以防止 AI 智能体失控导致巨额账单。AWS 和 Google Cloud 已分别推出月度支出限制和 Spend Caps 功能，但 AWS 目前仅向部分客户开放。作者建议智能体应优先推荐具备此类保护机制的服务提供商。
MIT Technology Review · AIAI 评分1818 企业自主 AI 运营模型转型报告：从工具到智能体架构的重构
2026年全球AI投资预计达$2.5 trillion，同比增长44%，但多数企业仍面临数据孤岛与整合滞后问题。MIT Technology Review指出，实现“agentic shift”需重构为可组合架构并确立AI主权，优先进行流程重设计而非单纯追求模型能力。具备就绪数据与实时连接能力的企业正通过自主AI运营模型获得持续回报。
Latent SpaceAI 评分6868 Airbnb CTO 阐述“由内而外”AI 战略：60% 代码由 AI 生成及异步 Agent 应用
Airbnb CTO Ahmad Al-Dahle 提出“由内而外”的 AI 战略，即先利用 AI 加速内部产品开发，再将其能力转化为客户体验。目前 Airbnb 约 60% 的代码由 AI 编写，近一半的支持工单由 AI 独立解决。
NVIDIA BlogAI 评分2626 NVIDIA AI 工厂如何通过高产出、长寿命与通用性最大化投资回报
NVIDIA AI 工厂通过全栈协同设计实现每兆瓦最高吞吐量，Vera Rubin NVL72 系统较 GB300 NVL72 提升超 30x 吞吐并降低至多 45x 成本。其硬件具备长使用寿命，A100 GPU 服役六年仍具经济价值，且 CUDA 平台支持跨代兼容以延长资产收益周期。该架构兼具通用性，可运行语言、视觉及物理 AI 等多种负载，从而在需求变化中确保持续盈利。
Modal 官方工程博客精选AI 评分7070 Modal Clusters 正式全面可用
Modal 宣布其多节点计算原语 Modal Clusters 正式全面可用（GA），用户可通过 `@modal.clustered` 装饰器快速启动集群。该功能支持高达 6.4 Tbps 的 InfiniBand RDMA 通信，自动配置 PyTorch 和 NCCL，并按秒计费。
推荐理由：原文详细说明了集群调度、RDMA 网络集成及秒级计费机制，为需要多节点训练或推理的用户提供了具体的基础设施方案。
LangChain Blog精选AI 评分7373 TypeSafe AI 发布 Jev 模型并集成至 LangChain
TypeSafe AI 发布了名为 Jev 的 System One 模型，该模型不生成文本而是通过强化学习进行快速的结构化分类决策，官方称其在分类任务上推理速度比同类 LLM 快 200 倍且成本低 400 倍。LangChain 已提供 `langchain-typesafe` 集成，支持通过 `TypeSafeClassifier` 调用该模型实现模型路由和自动模式下的工具调用安全拦截。
推荐理由：原文介绍了 TypeSafe AI 发布的 Jev 模型及其在 LangChain 中的集成方式，展示了如何通过结构化决策优化智能体循环的效率与成本。
Modal 官方工程博客精选AI 评分7878 Modal 正式推出 VM Sandboxes 以支持智能体运行完整计算机环境
Modal 宣布其 VM Sandboxes 功能正式全面可用（GA），允许开发者通过单一配置标志为 AI 智能体提供完整的 Linux 虚拟机环境。该功能基于 Cloud Hypervisor 构建，保留了原有 gVisor Sandbox 的 API、亚秒级冷启动和突发资源能力，并支持 Docker、本地数据库及图形界面等复杂工作负载。
推荐理由：官方详细说明了 VM Sandboxes 的技术实现与早期客户案例，为需要完整 Linux 环境的 Agent 开发者提供了具体的迁移参考。
Modal 官方工程博客AI 评分4545 Modal 在 Runtime 大会发布 VM Sandboxes、多节点集群及 Sticky Sessions 等新功能
Modal 在首届 Runtime 大会上发布了多项新功能，包括支持智能体访问完整 Linux 环境的 VM Sandboxes、通过 `@modal.clustered` 装饰器实现的多节点集群以及用于维持状态的 Sticky Sessions。
OpenRouter Announcements精选AI 评分6868 OpenRouter 指南：如何在 CI 中基于 LLM 评估门控 Pull Request
OpenRouter 发布教程指导开发者在 CI 流程中利用固定评估集对 Pull Request 进行质量门控，以防止系统提示词修改导致智能体行为回归。该方案通过将评估脚本集成至 GitHub Actions 并设置必需状态检查，当通过率低于阈值时自动阻断合并，文中详细演示了路径过滤、多数投票采样及阈值测量方法以消除模型输出噪声。
推荐理由：原文提供了在CI中通过固定评估集拦截提示词回归的完整脚本与配置，读者可据此构建防止智能体行为漂移的质量门禁。
OpenRouter Announcements精选AI 评分6565 OpenRouter 发布基于置信度的模型升级路由指南
OpenRouter 发布指南介绍如何通过模型自报置信度分数实现动态路由，让低成本模型处理高确信请求，仅将低确信请求升级至更强模型。该方案利用结构化输出强制返回数值型置信字段，并建议通过自有流量测试误差率分布来设定和持续调整路由阈值，以平衡成本、延迟与准确性。
推荐理由：提供了基于模型自报置信度进行动态路由的五步实施指南，包含结构化输出配置与阈值校准方法。
Google Developers BlogAI 评分3232 Google 在 TPU 上加速视频扩散模型的时空注意力机制
Google 通过优化稀疏注意力内核，在 TPU v6e 芯片上显著提升了视频扩散模型的推理速度。该方案利用空间与时间头的几何结构特性，仅保留约 38.87% 的查询-键交互对，从而降低计算延迟。这一实现将理论上的稀疏性转化为端到端的实际加速效果。
vLLM 官方博客精选AI 评分7171 vLLM 官方博客发布分离式推理实战指南
vLLM 官方博客发布《Taking vLLM Apart》指南，详解如何通过分离 Prefill 和 Decode 阶段以及将 CPU 工作移至前端来优化 LLM 推理服务。
推荐理由：原文结合实测数据与代码示例，拆解了 vLLM 分离式推理的适用场景、性能权衡及具体配置方法。
SemiAnalysisAI 评分7373 SemiAnalysis 解析 GLM-5.3 稀疏注意力对 HBM 内存的影响及服务优化
SemiAnalysis 指出稀疏注意力虽降低了 SDPA 操作的带宽需求，但 top-k 选择仍需完整上下文驻留 HBM，并未消除整体内存容量瓶颈。文章介绍了 SGLang 的 HiSparse 分层内存系统，通过将 KV cache 卸载至 DRAM 并结合层级重叠技术来提升高并发吞吐量。
LangChain Blog精选AI 评分6060 LangSmith 发布 Engine v2、托管深度智能体 v0.8 及微调等新功能
LangSmith 在 Interrupt NYC 大会上发布了多项新功能，包括用于自动检测问题并测试修复方案的 Engine v2，以及支持用户级记忆和内置网络搜索的 Managed Deep Agents v0.8。
推荐理由：原文详细列出了 LangSmith Engine v2、Managed Deep Agents v0.8 及微调工具等具体功能变化，为开发者提供了评估现有 Agent 工作流升级路径的直接依据。
LangChain Blog精选AI 评分8080 LangChain 讲解如何结合 Jev 和 LangGraph 构建生产级智能体
LangChain 发布指南介绍如何利用 TypeSafe AI 的 Jev 决策模型与 LangGraph 框架构建“prod, not god”的生产级智能体系统。
推荐理由：原文结合 Jev 决策模型与 LangGraph 编排框架，展示了构建低成本、高可靠性生产级智能体的具体架构模式。
LangChain BlogAI 评分4242 LangSmith 推出 Custom Apps：在平台内构建自定义 Agent 数据界面
LangSmith 发布 Custom Apps，允许用户在平台内直接构建、发布并运行基于 Agent 数据的自定义 UI。该功能支持通过 Chat 提示或代码模板开发，免去了托管、认证及权限配置等维护工作。目前 Plus 计划包含一个应用，Enterprise 计划提供无限数量，同时其设计系统 Macaw 已开源。
OpenRouter AnnouncementsAI 评分4040 OpenRouter 推出 Security Center 以管理并降低 API 密钥风险
OpenRouter 上线 Security Center，提供跨工作区查看、批量禁用或归档 API 密钥的功能。该工具基于元数据评估密钥风险，支持设置消费限额及 IP 白名单（Enterprise 计划），且不读取用户提示词内容。
DeepLearning.AIAI 评分3333 Andrew Ng谈AI工程测试策略
早期 AI 项目不需要严格的测试，但成熟产品需要。Andrew Ng 解释了为什么 AI 工程战术必须适应项目生命周期。本周 The Batch 还包括：Claude Opus 5.5 性能指标、Jev 分类模型走红以及 Devin
LangChain BlogAI 评分4242 LangSmith 推出 Trajectories：提供 Agent 会话的可读时间线视图
LangSmith 发布 Trajectories 功能，将多轮 Agent 会话中的消息与动作按时间顺序聚合为可读视图。该功能支持对轨迹进行在线评估、路由至标注队列及导出用于监督微调，目前已在所有美国计划中可用。
vLLM 官方博客精选AI 评分6262 vLLM 发布原生文本水印功能
vLLM 正式支持基于 Gumbel-max 算法的无失真文本水印功能，允许用户在模型推理时嵌入可检测的来源信号而不改变输出分布。该实现深度集成于 Model Runner v2 采样管线，通过 GPU 内核融合技术将吞吐影响控制在 ±2% 以内，并采用双密钥机制解决与推测解码的冲突及重复上下文导致的多样性下降问题。
推荐理由：vLLM 原生集成 Gumbel-max 水印算法，在保持零输出失真和极低延迟开销的同时，解决了与推测解码的兼容性及生成多样性问题。
Modal 官方工程博客精选AI 评分6868 Modal 发布 Quail：联合优化查询规划器与推理引擎以加速 AI-SQL
Modal 推出名为 Quail 的推理引擎，专门用于加速 AI-SQL 工作负载，在单张 H100 GPU 上实现超过 10 亿 tokens/min 的处理速度，比 vLLM 基线快 10 倍以上。
推荐理由：原文展示了针对 AI-SQL 负载的专用推理引擎 Quail，通过联合优化查询计划与推理过程实现显著性能提升。
Google Developers Blog精选AI 评分6363 Google团队在TPU上使用MaxText复现Olmo 3 7B预训练的案例研究
Google团队使用MaxText框架在Google Cloud TPUs上成功复现了Ai2开发的Olmo 3 7B模型的Stage-1预训练和Stage-2中训练。
推荐理由：文章详细记录了在TPU上复现大模型预训练的过程，揭示了仅看训练损失可能掩盖数据加载器Bug的风险，并提供了跨框架验证的具体方法。
SemiAnalysisAI 评分6565 SemiAnalysis 发布 ClusterMAX 3.0：GPU 云行业标准评级系统更新
SemiAnalysis 发布 ClusterMAX 3.0 报告，对 77 家 neocloud 提供商进行了全面测试与评级。Nebius 晋升至 Platinum 级，Google Cloud 进入 Gold 级，Azure 降至 Silver 级。该版本扩大了市场覆盖范围至 323 家提供商，并深入分析了融资、Blackwell 部署、网络架构及安全性等关键趋势。
Anthropic Claude.dev 开发者博客精选AI 评分8787 Anthropic 分享如何利用 Claude 将 claude.ai 性能提升三倍
Anthropic 团队通过两周冲刺，利用 Claude Tag（beta）内部研究模型优化核心用户旅程，使 claude.ai 和桌面应用响应速度提升约 3 倍。该过程涉及建立确定性基准、自动化代码审查及持续监控，最终合并超过三千个变更且无客户可见事故。
推荐理由：原文详述了利用 Claude Agent 在两周内实现性能提升三倍的具体工程闭环，展示了从基准测试到自动化部署的完整实践路径。
Modal 官方工程博客精选AI 评分6565 Modal 分享如何为万亿参数编码智能体服务万亿 token 的推理优化实践
Modal 官方博客分享了针对 Moonshot AI Kimi K2.6 等万亿参数模型的推理服务优化方案，实现了单副本性能提升 2.8x（每用户）和 5.6x（跨用户）。
推荐理由：原文详细拆解了万亿参数模型在编码智能体场景下的推理优化路径，提供了从单副本调优到多副本路由的完整工程实践参考。
Together AI Blog精选AI 评分6262 Together AI 教程：如何以 $17 成本训练自己的 Jev 分类模型
Together AI 发布教程指导用户以约 $17 的成本和 25 分钟时间，基于 Qwen3.5 4B 微调一个类似 Jev 的分类模型。该过程涉及从 Hugging Face 采样 38,000 条多源数据、使用 Together Fine-tuning service 训练以及部署到 dedicated endpoint。
推荐理由：原文提供了基于 Qwen3.5 4B 微调分类模型的完整代码流程与成本细节，读者可据此复现低成本构建专用分类器的方法。
LangChain BlogAI 评分3838 LangSmith 在医疗 AI 中的可靠性应用案例
Included Health 和 Abridge 利用 LangSmith 将临床专家审查转化为可复用的评估资产，以解决医疗 AI 验证瓶颈。Included Health 通过 LangGraph 构建 Dot 智能体处理复杂咨询，Abridge 则建立校准评判器确保病历生成的准确性与合规性。该方案旨在保留人类判断价值并加速安全发布。
Together AI Blog精选AI 评分6868 Together AI 推出 Canary Rollouts 实现生产环境模型零停机升级
Together AI 发布 Canary Rollouts 功能，允许在生产环境中通过分阶段流量迁移无缝升级模型，无需停机或手动干预。该功能支持 Canary、Blue-green 和 Rolling 三种策略，内置健康检查和延迟回归门控，确保新模型在满足性能标准后才逐步接管全部流量。
推荐理由：Together AI 推出生产环境模型金丝雀发布功能，通过自动化流量切换和指标门控实现零停机升级。
vLLM 官方博客精选AI 评分8282 vLLM 发布 vllm-metal：支持 Apple Silicon 上的并发推理服务
vLLM 团队正式发布 vllm-metal，将 vLLM 的调度器、分页 KV 缓存和 OpenAI 兼容服务器引入 Apple Silicon，底层由 MLX 和 Metal 执行。
推荐理由：vLLM 官方发布适配 Apple Silicon 的推理引擎，通过 Metal 内核优化并发调度与内存管理，显著降低本地多请求场景下的首字延迟。
SemiAnalysisAI 评分4242 MoE 模型推理中的计算与数据移动机制解析
Mixture of Experts (MoE) 架构改变了前沿模型的推理服务结构与经济性，需区分 Prefill、Midfill、Decode attention 和 Decode experts 四种工作模式。这些模式在算术强度、内存移动及网络带宽需求上存在显著差异，影响 vLLM、NVIDIA Dynamo 等编排层与推理服务器的调度策略。
OpenRouter AnnouncementsAI 评分3636 Descript 借助 OpenRouter 将模型评估周期从一周缩短至两小时
Descript 通过 OpenRouter 消除工程排队瓶颈，将新模型评估耗时从一周压缩至一两小时。团队利用 Claude Tag 在 Slack 中自动运行评测并创建 PR，实现每周多次高频测试。目前 Grok 4.5 已通过该路径在生产环境上线，且支持 Baseten 专用部署与多提供商故障回退。
vLLM 官方博客AI 评分4040 vLLM 在 GB300 NVL72 集群上实现 Qwen3.8-2.4T PD Serving 性能突破
vLLM 在 GB300 NVL72 集群上对 Qwen3.8-2.4T 模型进行 PD Serving 优化，在 8K/1K 负载下实现每 GPU 5000 总 token 吞吐量及低延迟场景下每用户 180 生成 token。
Together AI BlogAI 评分2727 全球金融科技巨头如何利用 Dedicated Model Inference 扩展 GLM-5.2 编码智能体流量
某全球金融科技企业通过 Together AI 的 Dedicated Model Inference 服务，成功扩展基于 GLM-5.2 模型的编码智能体流量。