Amazon SageMaker JumpStart 2026年迄今回顾：新增超100款模型
Amazon SageMaker JumpStart在2026年1月至9月间上线了超过100款新模型，涵盖30家提供商。重点引入NVIDIA Cosmos3世界基础模型、Qwen 3.8-27B及Gemma 4等多模态与推理模型。该更新强化了视觉、语音及文档理解能力，支持LoRA微调与一键部署，显著扩展了开源大语言模型的目录选择。
#部署/工程
AWS Machine Learning BlogAI 评分2525 vLLM 官方博客AI 评分6868 vLLM 发布 Elastic Expert Parallelism 近零停机扩缩容方案
vLLM 推出基于异步准备和 NIXL EP 的弹性专家并行（Elastic EP）功能，实现 DeepSeek V4 Pro 等模型在 GB200 GPU 集群上的近零停机动态扩缩容。
Hugging Face Blog精选AI 评分6262 Hugging Face 推出 TorchNeuron：简化 AWS Trainium 上的模型运行
Hugging Face 发布 TorchNeuron，为 AWS Trainium 提供新的 PyTorch 原生后端，支持 eager mode、torch.compile 及 FSDP/TP 等分布式 API。
推荐理由：TorchNeuron 将 Trainium 变为 PyTorch 原生设备，消除了编译复杂性并大幅提升了主流模型架构的兼容性。
Together AI Blog精选AI 评分6868 Together AI 发布 Together Post-Training 后训练服务
Together AI 推出 Together Post-Training 服务，允许用户通过强化学习（RL）和监督微调（SFT）构建自定义模型，无需承担重型基础设施负担。
推荐理由：Together AI 推出后训练服务，支持自定义 RL/SFT 循环及 LoRA 共享资源，提供从实验到部署的全流程基础设施优化。
AWS Machine Learning BlogAI 评分5050 vLLM 引入双向 KV 传输优化多轮 Agent 工作负载 TTFT
vLLM 通过双向 KV 缓存传输机制，允许解码节点将已计算的 KV 返回给预填充节点复用，从而减少多轮对话中的重复计算。在 Amazon EC2 P5en 实例基准测试中，该方案使 Qwen3-32B 的首 Token 延迟（TTFT）降低至原来的 1/1.6，zai-org/GLM-5-FP8 降低至 1/3.3。
AWS Machine Learning BlogAI 评分5858 vLLM 采用 Push-based KV 传输优化分离式推理性能
vLLM 引入基于推送（push-based）的 NIXL 连接器以优化分离式推理中的 KV 缓存传输，通过将协调与设置移出关键路径来降低延迟。在 Amazon EC2 P5en 实例上使用 Qwen3-32B 模型的基准测试显示，相比默认的拉取模式，推送模式可将首字生成时间（TTFT）最多改善 3 倍，每输出 token 时间（TPOT）提升约 30%。
AWS Machine Learning BlogAI 评分2828 Deepgram 如何利用 AWS Trainium2 优化大规模语音 AI
Deepgram 将 Nova-3 模型迁移至 AWS Trainium2，在离线批处理工作负载中实现每美元音频处理量提升 11–70%。通过 NKI 库融合内核及手写优化，FFN 层延迟降低 2.0x，Depthwise conv1d 加速 1.5x，Conv2d 模块最高提速 50x。
Modal 官方工程博客AI 评分4848 NVIDIA Vera CPU 使 Modal Sandboxes 吞吐量翻倍
NVIDIA Vera CPU 在 Modal Sandboxes 基准测试中实现吞吐量翻倍。该 Arm 兼容处理器在高负载并发场景下表现优异，有效缓解多租户噪声邻居问题并降低延迟。Modal 借此支持从 x86 向 Arm 架构迁移，为后台智能体和强化学习工作负载提供更高效率的计算资源。
vLLM 官方博客精选AI 评分6868 vLLM 详解 Kimi K3 深度优化：实现 840 tokens/s 及快速响应维护策略
vLLM 官方博客发布 Kimi K3 的深度优化方案，通过 Agent 辅助开发构建统一 CuTe DSL decode 路径，在 16 张 NVIDIA GB300 GPU 上实现 batch 1 超过 840 tokens/s 的解码速度。
推荐理由：原文详细拆解了 Kimi K3 在 vLLM 中的底层优化逻辑与性能数据，并提出了平衡开发速度与稳定性的维护框架。
AWS Machine Learning BlogAI 评分4040 Amazon Bedrock AgentCore 构建 AI 智能体生产级评估框架
AWS SMGS 团队利用 Amazon Bedrock AgentCore Evaluations 构建持续质量闭环，解决 AI 智能体在生产环境中“自信但错误”的隐性失效问题。该框架集成 Guardrails、CloudWatch 等组件，在发布前及运行中自动验证答案准确性并追溯根因，防止如营收数据单位误读或幻觉计算导致的业务风险，确保多智能体系统在大规模部署下的可信度。
Modal 官方工程博客AI 评分5555 Modal 详解 ImageFS-blk：如何通过块设备优化 VM 沙箱文件系统性能
Modal 发布技术博客介绍其新文件系统后端 ImageFS-blk，旨在解决 VM 沙箱中 virtio-fs 带来的元数据操作性能瓶颈。该方案将文件系统逻辑移至 Guest 内部并通过 virtio-blk 交互，使 chown 等操作的延迟从约 99 µs 降至 ~2.1 µs。
a16zAI 评分2828 a16z 探讨 AI 运维生产系统
工程负责人告诉 Grepr 创始人兼 CEO Jad Naous，他们花费基础设施预算的 5% 到 20% 用于可观测性，但换来的可靠性却越来越少。前 a16z 合伙人 Jad 与 a16z 的 Martin Casado 一起讨论 AI 是否能运行生产系统
AWS Machine Learning Blog精选AI 评分6363 AWS 发布 Reflection Beam 智能体编码模型的部署与调优指南
Reflection AI 推出面向智能体编码的开源权重模型 Beam，拥有 501B 总参数和 23B 激活参数，支持 1M token 上下文。该文章详解了在 AWS SageMaker JumpStart 和 HyperPod Inference 上部署 BF16、FP8 或 NVFP4 版本的具体步骤，包括 GPU 容量规划、SGLang/vLLM 运行时配置及性能测试方法。
推荐理由：原文详细拆解了 Reflection Beam 在 AWS 上的两种部署路径及显存规划，为开发者提供了从模型选型到性能调优的可落地工程指南。
vLLM 官方博客精选AI 评分7878 vLLM 发布 Reflection Beam 模型 Day 0 支持与优化指南
vLLM 宣布从 Day 0 支持 Reflection 的 501B 参数 MoE 模型 Beam，并在 NVIDIA Blackwell 上完成优化。通过编码智能体自主优化，该实现使 batch-1 解码速度提升 2.71 倍，预填充速度提升 1.87 倍。
推荐理由：vLLM 官方展示了 Reflection Beam 模型的 Day 0 支持细节，包括智能体自动优化带来的显著性能提升和 DFlash2 投机解码配置，为大规模 MoE 模型的高效部署提供了具体参考。
vLLM 官方博客精选AI 评分6868 vLLM 详解 Kimi K3 在 AMD MI355X 上匹配 NVIDIA B300 吞吐量的优化过程
vLLM 官方博客发布技术复盘，详述如何通过六项核心优化使 Kimi K3 在八卡 AMD Instinct MI355X 系统上的每 GPU 吞吐量超越 NVIDIA HGX B300 24.4%，并在成本模型下实现每美元多产出 87.4% 的 token。文章深入解析了 DCP8 缓存分片、MoE 去重计算、KDA 状态并行化及 MLA 长上下文解码加速等具体工程决策与基准测试数据。
推荐理由：文章拆解了 Kimi K3 在 AMD MI355X 上的六项关键优化，提供了从缓存复用到内核融合的具体工程思路。
AWS Machine Learning Blog精选AI 评分6565 Meta Muse Spark Open 上线 Amazon SageMaker JumpStart
Meta 面向编码优化的开源权重模型 Muse Spark Open 现已在 Amazon SageMaker JumpStart 提供。该模型采用 MoE 架构，总参数 816B（激活 42B），支持 1M token 上下文窗口及文本、图像、音频等多模态输入。
推荐理由：原文给出了模型在 SageMaker JumpStart 的部署入口、两种量化变体及具体实例规格，读者可据此评估私有化部署成本与能力边界。
vLLM 官方博客精选AI 评分8787 vLLM 发布对 Meta Muse Spark Open 模型的 Day 0 支持
vLLM 宣布与 Meta Superintelligence Labs 合作，为开源稀疏混合专家模型 Muse Spark Open 提供 Day 0 支持。
推荐理由：vLLM 官方提供了 Muse Spark Open 的 Day 0 支持，包含多硬件并行策略、DSpark 投机解码配置及 LoRA RL 训练示例，可直接用于生产环境部署。
OpenRouter AnnouncementsAI 评分5353 OpenRouter 发布 Private Endpoints 功能，支持私有模型与容量接入
OpenRouter 正式推出 Private Endpoints 功能，允许企业将微调模型、专用部署或预留容量接入 OpenRouter 统一 API。该功能作为 Enterprise 计划的附加组件，确保私有端点仅在组织内可见，不进入公共模型列表或基准测试。
vLLM 官方博客精选AI 评分6565 vLLM 宣布支持 NVIDIA Nemotron 3.5 Super VL 多模态模型
vLLM 正式宣布对 NVIDIA Nemotron 3.5 Super VL 提供 Day 0 支持。该模型采用 120B 总参数、12B 激活参数的 MoE 架构，具备文本、图像、文档和视频理解能力，专为长运行智能体工作流设计。
推荐理由：原文披露了 Nemotron 3.5 Super VL 的 MoE 架构参数、混合 Mamba-Transformer 设计以及 vLLM 部署配置，为开发者评估其在长上下文智能体任务中的效率与精度提供了具体技术依据。
vLLM 官方博客精选AI 评分7575 vLLM发布Bitwise-Consistent RL训练方案：解决DeepSeek-V4等模型训练推理不一致问题
vLLM团队提出一种新方案，通过让训练前向直接调用vLLM推理内核并修改内核逻辑，确保采样token的logprob在训练和推理侧逐位一致（diff=0）。在DeepSeek-V4-Flash实验中，该方法在保持91.3%基线吞吐量的同时实现了零差异，避免了因数值不一致导致的KL散度飙升和奖励下降；该流程已封装为Agent Skill开源，并成功迁移至Nemotron混合架构模型。
推荐理由：原文提供了在高性能推理引擎上实现训练与推理数值完全一致的具体方法、代码及Agent技能包，为RL训练稳定性优化提供了可复用的工程路径。
vLLM 官方博客精选AI 评分6262 vLLM 发布 Elastic EP 近零停机扩缩容方案
vLLM 推出基于异步准备和 NIXL EP 的 Elastic Expert Parallelism（Elastic EP）方案，实现近零停机的 GPU 动态扩缩容。
推荐理由：vLLM 通过异步准备和 NIXL EP 将弹性专家并行重配置停机时间降至秒级，为大规模 MoE 模型在线扩缩容提供了低干扰的工程方案。
vLLM 官方博客AI 评分4040 vLLM 推出无需置信度头的自适应验证
vLLM 通过在线拟合估计器实现无置信度头模型的自适应验证，利用草稿模型 logits 预测接受概率以裁剪低置信 token。该功能在 PR #52228 中落地，支持 EAGLE、MTP 等现有检查点直接启用 `enable_adaptive_verification`，无需重新训练即可节省计算开销。
vLLM 官方博客AI 评分4848 vLLM 推出基于推送的 KV 传输以优化分离式推理性能
vLLM 引入基于推送的 NIXL 连接器，将 KV 缓存传输协调移出关键路径。在 Qwen3-32B 模型基准测试中，该方案使首字延迟（TTFT）最高降低至原来的三分之一，每输出 token 时间（TPOT）提升达 30%。此功能已贡献给 vLLM 项目，支持加速器无关的分离式推理部署。
AWS Machine Learning BlogAI 评分2929 基于 Amazon Bedrock AgentCore 构建自改进文档处理系统
利用 Amazon Bedrock AgentCore 构建智能体 IDP 系统，可在 20 分钟内部署多智能体工作流。该系统通过 Strands Agents SDK 协同八个专用智能体，自动分类、提取并验证业务文档。新格式无需手动配置模板即可处理，智能体能从修正中学习并复用知识，显著降低维护成本。
AWS Machine Learning BlogAI 评分3030 Tamnoon 基于 Amazon Bedrock 构建 AI 云安全修复智能体 Tami
Tamnoon 在 Amazon Bedrock 上构建了 agentic 云修复编排器 Tami，通过四个专用 AI agent 实现从调查到修复的自动化。该方案在 90 天内将关键云暴露面降低超 90% 且零生产事故。
Modal 官方工程博客AI 评分5858 Modal 宣布年化运行率突破 10 亿美元并完成 7.5 亿美元 D 轮融资
AI 基础设施公司 Modal 宣布其年化运行率（Annualized Run Rate）已突破 10 亿美元，同比增长超过 15 倍，使用量在过去五个月内翻了三倍。
AWS Machine Learning BlogAI 评分2626 Amazon SageMaker JumpStart 模型部署与评估指南
Amazon SageMaker JumpStart 提供预训练模型目录，支持通过 SageMaker Python SDK v3 实现一键部署、性能测试及端点清理。
LangChain Blog精选AI 评分7878 LangChain 发布 Deep Agents Deploy：Claude Managed Agents 的开源替代方案
LangChain 正式推出 Deep Agents Deploy beta 版，这是一个基于开源、模型无关的 Agent Harness 的快速生产级部署工具。
推荐理由：LangChain 推出 Deep Agents Deploy beta，提供模型无关的开源智能体部署方案，强调通过开放标准避免记忆锁定。
Modal 官方工程博客AI 评分5858 Modal 提出混合精度与异构加速器采样器下的稳定强化学习训练方案
Modal 团队在 Qwen3.6-35B-A3B 上验证了使用六种不同加速器和精度的混合采样器进行异步强化学习训练的可行性。通过结合掩码重要性采样、分数中心化和 Top-p 掩码重放等离策略校正技术，该方法在保持训练稳定的同时，使采样成本降低约 15%，且在 SWE-bench Pro V2 上的表现与同构采样器相当。
AWS Machine Learning BlogAI 评分2626 Amazon Bedrock 通过托管权限简化私有定价优惠的多账户管理
Amazon Bedrock 推出托管权限功能，允许在中心账户订阅一次 AWS Marketplace 私有定价优惠并分发至组织内多账户。该方案提供轻量级脚本和基于 AWS CDK 的事件驱动自动化两种路径，分别用于一次性激活和持续验证卖家、创建及激活分布式授权，从而消除手动检查 License Manager 的运营摩擦并确保协商价格生效。
AWS Machine Learning BlogAI 评分4040 ShipStation Global 基于 Amazon Bedrock AgentCore 构建 AI IT 帮助台
ShipStation Global 在 Amazon Bedrock AgentCore 上构建了名为 Deckhand 的 Slack AI IT 帮助台，解决了 97.5% 的入站查询并获得 96% 的员工正面反馈。
AWS Machine Learning BlogAI 评分3535 Amazon SageMaker AI 优化 Mixture-of-Experts 内核工程
Amazon SageMaker AI 通过 Swap-AB 技术优化 Hopper 架构上的 MoE 内核，将专家维度映射至固定行数以提升 WGMMA 利用率，使 H200 上的端到端吞吐量提高 2–4%，该优化已集成至 vLLM 0.24.0+。针对 FP8 量化模型，Triton 后端因寄存器级融合与单次内存访问特性，在低并发场景下性能优于默认的 FlashInfer+CUTLASS 路径。
LangChain Blog精选AI 评分6868 LangChain 集成 ScaleDown 以优化长运行智能体上下文管理
LangChain 发布 langchain-scaledown 集成，利用 ScaleDown 的受限解码模型（CDMs）来高效处理长运行智能体的上下文管理任务。
推荐理由：LangChain 集成 ScaleDown 受限解码模型，提供摘要、压缩和提取中间件，帮助开发者低成本管理长运行智能体的上下文。
vLLM 官方博客精选AI 评分6262 vLLM 推出双向 KV 传输以优化多轮智能体工作负载 TTFT
vLLM 发布双向 KV Cache 传输功能，允许预填充节点复用解码节点保留的 KV 块，从而减少多轮对话中的重复计算并降低首 Token 时间（TTFT）。
推荐理由：vLLM 引入双向 KV 传输机制，通过复用解码节点缓存显著降低多轮智能体工作负载的 TTFT，为长上下文场景提供可落地的性能优化方案。
AWS Machine Learning BlogAI 评分3737 泰国、马来西亚等五地可通过 Amazon Bedrock 全球跨区域推理访问 OpenAI GPT-6 模型
Amazon Bedrock 在泰国、马来西亚、新加坡、印尼和台湾推出全球跨区域推理，支持访问 OpenAI GPT-6 Sol、Luna 和 Astra。用户可从上述源区域调用这些模型，利用其他 AWS 区域的容量以缓解单区域限流。GPT-6 系列均支持文本图像输入及提示缓存，通过 Converse API 或 OpenAI 兼容接口接入。
Modal 官方工程博客AI 评分4242 Modal 推出 Endpoint Candidates 用于评估与提升推理端点
Modal 正式推出 Endpoint Candidates，允许用户为 Dedicated Endpoints 暂存替代部署以评估质量、延迟、吞吐量和成本。该功能支持镜像生产流量并独立运行基础设施，用户可通过仪表盘监控指标并在验证后一键提升至生产环境。Endpoint Candidates 现已在 Modal 所有工作区全面可用，采用标准计算定价。
AWS Machine Learning BlogAI 评分3636 AWS 推出 Ray LLM Deep Learning Containers 支持多节点推理
AWS 发布 Ray LLM Deep Learning Containers，支持在 Amazon EKS 上跨两个 GPU 节点部署大语言模型。该容器集成 vLLM、NIXL 和 EFA，通过分离 Prefill 与 Decode 阶段实现解耦推理，并暴露 OpenAI 兼容 API。
AWS Machine Learning BlogAI 评分3838 在 Amazon SageMaker AI 上使用 llama.cpp 部署决策模型
该方案利用 AWS Deep Learning Containers (DLC) for llama.cpp，在 Amazon SageMaker AI 上通过 SemIf 适配器实现结构化决策推理。
NVIDIA BlogAI 评分5050 NVIDIA 在 OCP 峰会开放 Vera Rubin 架构以扩展全球 AI 工厂
NVIDIA 在 OCP 全球峰会上通过 MGX 开源架构贡献了 Vera Rubin 机架与计算托盘设计，旨在加速全球 AI 工厂规模化部署。MGX 1.2 规范支持最高 250kW 机架功率及盲插液冷技术，并新增面向智能体时代的 Vera CPU 机架设计。此外，NVIDIA 发布了 DSX AI Factory 的开源软件组件，涵盖网络配置、集群验证及裸机供应等功能。
vLLM 官方博客精选AI 评分7878 vLLM 宣布支持 NVIDIA Vera Rubin NVL72，吞吐量较 GB200 提升 7.8 倍
vLLM 正式宣布支持 NVIDIA Vera Rubin NVL72 平台，在 AgentX 基准测试中实现每 GPU 吞吐量较 GB200 NVL72 提升 7.8 倍。
推荐理由：vLLM 官方展示了在 Vera Rubin NVL72 上的初步性能数据与内核优化细节，为评估下一代硬件的推理收益提供了具体参考。