Amazon SageMaker JumpStart 2026年迄今回顾：新增超100款模型
Amazon SageMaker JumpStart在2026年1月至9月间上线了超过100款新模型，涵盖30家提供商。重点引入NVIDIA Cosmos3世界基础模型、Qwen 3.8-27B及Gemma 4等多模态与推理模型。该更新强化了视觉、语音及文档理解能力，支持LoRA微调与一键部署，显著扩展了开源大语言模型的目录选择。
#部署/工程
AWS Machine Learning BlogAI 评分2525 vLLM 官方博客AI 评分6868 vLLM 发布 Elastic Expert Parallelism 近零停机扩缩容方案
vLLM 推出基于异步准备和 NIXL EP 的弹性专家并行（Elastic EP）功能，实现 DeepSeek V4 Pro 等模型在 GB200 GPU 集群上的近零停机动态扩缩容。
TechCrunch · AIAI 评分6565 AWS 发布 TorchNeuron 开发工具以支持 PyTorch 应用迁移至 Trainium 芯片
Amazon Web Services 于周一发布名为 TorchNeuron 的新工具，使 AI 初创公司能够轻松将其基于 PyTorch 的应用程序迁移至 Amazon 的 Trainium AI 芯片上。
Hugging Face Blog精选AI 评分6262 Hugging Face 推出 TorchNeuron：简化 AWS Trainium 上的模型运行
Hugging Face 发布 TorchNeuron，为 AWS Trainium 提供新的 PyTorch 原生后端，支持 eager mode、torch.compile 及 FSDP/TP 等分布式 API。
推荐理由：TorchNeuron 将 Trainium 变为 PyTorch 原生设备，消除了编译复杂性并大幅提升了主流模型架构的兼容性。
Together AI Blog精选AI 评分6868 Together AI 发布 Together Post-Training 后训练服务
Together AI 推出 Together Post-Training 服务，允许用户通过强化学习（RL）和监督微调（SFT）构建自定义模型，无需承担重型基础设施负担。
推荐理由：Together AI 推出后训练服务，支持自定义 RL/SFT 循环及 LoRA 共享资源，提供从实验到部署的全流程基础设施优化。
AWS Machine Learning BlogAI 评分5050 vLLM 引入双向 KV 传输优化多轮 Agent 工作负载 TTFT
vLLM 通过双向 KV 缓存传输机制，允许解码节点将已计算的 KV 返回给预填充节点复用，从而减少多轮对话中的重复计算。在 Amazon EC2 P5en 实例基准测试中，该方案使 Qwen3-32B 的首 Token 延迟（TTFT）降低至原来的 1/1.6，zai-org/GLM-5-FP8 降低至 1/3.3。
AWS Machine Learning BlogAI 评分5858 vLLM 采用 Push-based KV 传输优化分离式推理性能
vLLM 引入基于推送（push-based）的 NIXL 连接器以优化分离式推理中的 KV 缓存传输，通过将协调与设置移出关键路径来降低延迟。在 Amazon EC2 P5en 实例上使用 Qwen3-32B 模型的基准测试显示，相比默认的拉取模式，推送模式可将首字生成时间（TTFT）最多改善 3 倍，每输出 token 时间（TPOT）提升约 30%。
AWS Machine Learning BlogAI 评分2828 Deepgram 如何利用 AWS Trainium2 优化大规模语音 AI
Deepgram 将 Nova-3 模型迁移至 AWS Trainium2，在离线批处理工作负载中实现每美元音频处理量提升 11–70%。通过 NKI 库融合内核及手写优化，FFN 层延迟降低 2.0x，Depthwise conv1d 加速 1.5x，Conv2d 模块最高提速 50x。
Modal 官方工程博客AI 评分4848 NVIDIA Vera CPU 使 Modal Sandboxes 吞吐量翻倍
NVIDIA Vera CPU 在 Modal Sandboxes 基准测试中实现吞吐量翻倍。该 Arm 兼容处理器在高负载并发场景下表现优异，有效缓解多租户噪声邻居问题并降低延迟。Modal 借此支持从 x86 向 Arm 架构迁移，为后台智能体和强化学习工作负载提供更高效率的计算资源。
IT之家AI 评分3737 DLSS-NR 模组 v0.8.0 更新，为 AMD Radeon 显卡解锁 DLSS 全部核心功能
DLSS-NR 模组发布 v0.8.0 版本，为 AMD Radeon 显卡解锁 DLSS 超分辨率、帧生成、光线重建及神经渲染等全部核心功能。该模组支持 RX 9000/7000/6000 系列显卡，通过 NeuralHub 加载器部署，画面质量接近英伟达原生效果。
IT之家AI 评分4444 英伟达优化 Kimi K3 模型推理速度，提升 1.68 倍
英伟达通过上游 vLLM 优化，使 2.8 万亿参数量的 Kimi K3 模型在 GB300 NVL72 硬件上实现 423 tok/s/user 的推理速度，性能提升 1.68 倍。该优化由 CentML 工程师完成，核心在于使用 Cute DSL 编写包含 1.2 万行代码的解码专用 Megakernel。此外，英伟达也在为 DeepSeek V4.1 等其他模型开发类似优化。
IT之家AI 评分6565 我国首个全国产十万卡 AI 超集群真机在深圳亮相
在2026全国高性能计算学术大会上，我国首个全国产十万卡AI超集群真机亮相并将发布十大应用成果。该集群基于曙光8000系统，采用“超算和智算原生融合”路线，同一底座支持高精度科学计算与大模型训练推理。此前报道指出，该集群峰值算力相当于全人类持续计算200年，正支持新材料、创新药等26个领域300多种计算任务。
IT之家AI 评分5656 社区移植英伟达 DLSS 5 新版模型文件，较旧版游戏帧率最高暴涨 40%
社区 MOD 项目将《NBA 2K27》中的新版 DLSS 5 神经渲染 DLL（nvngx_dlssnr.dll，版本 310.9.16.0）移植到尚未官方支持该技术的游戏中。在画面质量未见明显下降的情况下，部分场景的游戏帧率较旧版提升约 30%~40%。
vLLM 官方博客精选AI 评分6868 vLLM 详解 Kimi K3 深度优化：实现 840 tokens/s 及快速响应维护策略
vLLM 官方博客发布 Kimi K3 的深度优化方案，通过 Agent 辅助开发构建统一 CuTe DSL decode 路径，在 16 张 NVIDIA GB300 GPU 上实现 batch 1 超过 840 tokens/s 的解码速度。
推荐理由：原文详细拆解了 Kimi K3 在 vLLM 中的底层优化逻辑与性能数据，并提出了平衡开发速度与稳定性的维护框架。
AWS Machine Learning BlogAI 评分4040 Amazon Bedrock AgentCore 构建 AI 智能体生产级评估框架
AWS SMGS 团队利用 Amazon Bedrock AgentCore Evaluations 构建持续质量闭环，解决 AI 智能体在生产环境中“自信但错误”的隐性失效问题。该框架集成 Guardrails、CloudWatch 等组件，在发布前及运行中自动验证答案准确性并追溯根因，防止如营收数据单位误读或幻觉计算导致的业务风险，确保多智能体系统在大规模部署下的可信度。
Modal 官方工程博客AI 评分5555 Modal 详解 ImageFS-blk：如何通过块设备优化 VM 沙箱文件系统性能
Modal 发布技术博客介绍其新文件系统后端 ImageFS-blk，旨在解决 VM 沙箱中 virtio-fs 带来的元数据操作性能瓶颈。该方案将文件系统逻辑移至 Guest 内部并通过 virtio-blk 交互，使 chown 等操作的延迟从约 99 µs 降至 ~2.1 µs。
a16zAI 评分2828 a16z 探讨 AI 运维生产系统
工程负责人告诉 Grepr 创始人兼 CEO Jad Naous，他们花费基础设施预算的 5% 到 20% 用于可观测性，但换来的可靠性却越来越少。前 a16z 合伙人 Jad 与 a16z 的 Martin Casado 一起讨论 AI 是否能运行生产系统
AWS Machine Learning Blog精选AI 评分6363 AWS 发布 Reflection Beam 智能体编码模型的部署与调优指南
Reflection AI 推出面向智能体编码的开源权重模型 Beam，拥有 501B 总参数和 23B 激活参数，支持 1M token 上下文。该文章详解了在 AWS SageMaker JumpStart 和 HyperPod Inference 上部署 BF16、FP8 或 NVFP4 版本的具体步骤，包括 GPU 容量规划、SGLang/vLLM 运行时配置及性能测试方法。
推荐理由：原文详细拆解了 Reflection Beam 在 AWS 上的两种部署路径及显存规划，为开发者提供了从模型选型到性能调优的可落地工程指南。
IT之家AI 评分4040 FADU 发布全球首款文件语义固态硬盘，支持加速器直接访问
FADU 在 2026 OCP 全球峰会上发布世界首款 FS-SSD（文件语义固态硬盘），通过内置固件使 SSD 能理解和管理文件，支持加速器绕过 CPU 直接通信。该方案旨在降低延迟与负载，并计划发展为基于 DPU 的无主机存储服务器。
vLLM 官方博客精选AI 评分7878 vLLM 发布 Reflection Beam 模型 Day 0 支持与优化指南
vLLM 宣布从 Day 0 支持 Reflection 的 501B 参数 MoE 模型 Beam，并在 NVIDIA Blackwell 上完成优化。通过编码智能体自主优化，该实现使 batch-1 解码速度提升 2.71 倍，预填充速度提升 1.87 倍。
推荐理由：vLLM 官方展示了 Reflection Beam 模型的 Day 0 支持细节，包括智能体自动优化带来的显著性能提升和 DFlash2 投机解码配置，为大规模 MoE 模型的高效部署提供了具体参考。
vLLM 官方博客精选AI 评分6868 vLLM 详解 Kimi K3 在 AMD MI355X 上匹配 NVIDIA B300 吞吐量的优化过程
vLLM 官方博客发布技术复盘，详述如何通过六项核心优化使 Kimi K3 在八卡 AMD Instinct MI355X 系统上的每 GPU 吞吐量超越 NVIDIA HGX B300 24.4%，并在成本模型下实现每美元多产出 87.4% 的 token。文章深入解析了 DCP8 缓存分片、MoE 去重计算、KDA 状态并行化及 MLA 长上下文解码加速等具体工程决策与基准测试数据。
推荐理由：文章拆解了 Kimi K3 在 AMD MI355X 上的六项关键优化，提供了从缓存复用到内核融合的具体工程思路。
IT之家AI 评分4040 苹果 Minions 研究：聚合闲置 Mac GPU 构建虚拟云，将 10 小时 AI 任务压缩至数分钟
苹果团队发布 Minions 系统研究，通过聚合闲置 Apple Silicon GPU 构建动态调度的“虚拟 GPU 云”，用于运行大规模机器学习推理。该方案利用拉取式任务模型协调多台 Mac 协同工作，使原本需排队超 10 小时的推理任务在数分钟内开始执行，无需新增硬件即可降低基础设施成本。目前该技术主要面向企业内部工程场景，尚未作为消费者产品推出。
AWS Machine Learning Blog精选AI 评分6565 Meta Muse Spark Open 上线 Amazon SageMaker JumpStart
Meta 面向编码优化的开源权重模型 Muse Spark Open 现已在 Amazon SageMaker JumpStart 提供。该模型采用 MoE 架构，总参数 816B（激活 42B），支持 1M token 上下文窗口及文本、图像、音频等多模态输入。
推荐理由：原文给出了模型在 SageMaker JumpStart 的部署入口、两种量化变体及具体实例规格，读者可据此评估私有化部署成本与能力边界。
vLLM 官方博客精选AI 评分8787 vLLM 发布对 Meta Muse Spark Open 模型的 Day 0 支持
vLLM 宣布与 Meta Superintelligence Labs 合作，为开源稀疏混合专家模型 Muse Spark Open 提供 Day 0 支持。
推荐理由：vLLM 官方提供了 Muse Spark Open 的 Day 0 支持，包含多硬件并行策略、DSpark 投机解码配置及 LoRA RL 训练示例，可直接用于生产环境部署。
OpenRouter AnnouncementsAI 评分5353 OpenRouter 发布 Private Endpoints 功能，支持私有模型与容量接入
OpenRouter 正式推出 Private Endpoints 功能，允许企业将微调模型、专用部署或预留容量接入 OpenRouter 统一 API。该功能作为 Enterprise 计划的附加组件，确保私有端点仅在组织内可见，不进入公共模型列表或基准测试。
vLLM 官方博客精选AI 评分6565 vLLM 宣布支持 NVIDIA Nemotron 3.5 Super VL 多模态模型
vLLM 正式宣布对 NVIDIA Nemotron 3.5 Super VL 提供 Day 0 支持。该模型采用 120B 总参数、12B 激活参数的 MoE 架构，具备文本、图像、文档和视频理解能力，专为长运行智能体工作流设计。
推荐理由：原文披露了 Nemotron 3.5 Super VL 的 MoE 架构参数、混合 Mamba-Transformer 设计以及 vLLM 部署配置，为开发者评估其在长上下文智能体任务中的效率与精度提供了具体技术依据。
IT之家AI 评分6262 Anthropic 弃用 Git 并推出自研版本控制系统 Scion
Anthropic 宣布弃用 Git，转为采用自研的版本控制系统 Scion，将大部分源代码管理操作转移至服务器。公司指出随着智能体和自动化任务增多，日均代码合并次数从 5 月的 2500 次激增至 9 月的超过 3 万次，Git 已无法满足需求。Scion 宣称 CPU 和内存消耗仅为 Git 的两百分之一，且 CI 和研究任务的代码检出时间从几分钟缩短至几秒钟。
IT之家AI 评分6868 阶跃星辰开源 Step 5 Preview 权重，华为昇腾与沐曦首发支持
阶跃星辰正式开放 Step 5 Preview 模型权重，包含 BF16 与 FP8 版本，已上线 Hugging Face 和 ModelScope。该模型在 AI 编程、软件工程及金融等任务上达到前沿水平，开发者可通过 vLLM 或 SGLang 部署兼容 OpenAI 接口的 API 服务。
vLLM 官方博客精选AI 评分7575 vLLM发布Bitwise-Consistent RL训练方案：解决DeepSeek-V4等模型训练推理不一致问题
vLLM团队提出一种新方案，通过让训练前向直接调用vLLM推理内核并修改内核逻辑，确保采样token的logprob在训练和推理侧逐位一致（diff=0）。在DeepSeek-V4-Flash实验中，该方法在保持91.3%基线吞吐量的同时实现了零差异，避免了因数值不一致导致的KL散度飙升和奖励下降；该流程已封装为Agent Skill开源，并成功迁移至Nemotron混合架构模型。
推荐理由：原文提供了在高性能推理引擎上实现训练与推理数值完全一致的具体方法、代码及Agent技能包，为RL训练稳定性优化提供了可复用的工程路径。
IT之家AI 评分3838 Universal MFG Unlocker 1.5.0 发布，解锁 DLSS 预设 C 支持 RTX 30 系列
开源工具 Universal MFG Unlocker 1.5.0 发布，破解英伟达 DLSS 帧生成“预设 C”，让 RTX 30/40 系列显卡也能免费体验，性能最高提升 35%。该版本兼容 DLSS 310.9.16 运行时，并集成 OptiScaler，支持 NVIDIA、AMD、Intel 显卡开启 Intel XeSS 多帧生成，提供 2 倍至 6 倍超高生成倍率选项。
vLLM 官方博客精选AI 评分6262 vLLM 发布 Elastic EP 近零停机扩缩容方案
vLLM 推出基于异步准备和 NIXL EP 的 Elastic Expert Parallelism（Elastic EP）方案，实现近零停机的 GPU 动态扩缩容。
推荐理由：vLLM 通过异步准备和 NIXL EP 将弹性专家并行重配置停机时间降至秒级，为大规模 MoE 模型在线扩缩容提供了低干扰的工程方案。
vLLM 官方博客AI 评分4040 vLLM 推出无需置信度头的自适应验证
vLLM 通过在线拟合估计器实现无置信度头模型的自适应验证，利用草稿模型 logits 预测接受概率以裁剪低置信 token。该功能在 PR #52228 中落地，支持 EAGLE、MTP 等现有检查点直接启用 `enable_adaptive_verification`，无需重新训练即可节省计算开销。
vLLM 官方博客AI 评分4848 vLLM 推出基于推送的 KV 传输以优化分离式推理性能
vLLM 引入基于推送的 NIXL 连接器，将 KV 缓存传输协调移出关键路径。在 Qwen3-32B 模型基准测试中，该方案使首字延迟（TTFT）最高降低至原来的三分之一，每输出 token 时间（TPOT）提升达 30%。此功能已贡献给 vLLM 项目，支持加速器无关的分离式推理部署。
AWS Machine Learning BlogAI 评分2929 基于 Amazon Bedrock AgentCore 构建自改进文档处理系统
利用 Amazon Bedrock AgentCore 构建智能体 IDP 系统，可在 20 分钟内部署多智能体工作流。该系统通过 Strands Agents SDK 协同八个专用智能体，自动分类、提取并验证业务文档。新格式无需手动配置模板即可处理，智能体能从修正中学习并复用知识，显著降低维护成本。
IT之家AI 评分4242 英特尔推出面向四至六代至强处理器的推理微服务：自动检测硬件并配置 vLLM 参数
英特尔发布 Intel Inference Microservices，一套基于 vLLM 引擎的容器化大语言模型推理方案。该服务支持第四至第六代至强处理器，启动时自动检测硬件型号并应用预验证配置，通过 OpenAI 兼容 API 提供 BF16 精度推理。此举旨在简化手动调优流程，未来计划扩展至英特尔 GPU 平台，保持接口统一。
AWS Machine Learning BlogAI 评分3030 Tamnoon 基于 Amazon Bedrock 构建 AI 云安全修复智能体 Tami
Tamnoon 在 Amazon Bedrock 上构建了 agentic 云修复编排器 Tami，通过四个专用 AI agent 实现从调查到修复的自动化。该方案在 90 天内将关键云暴露面降低超 90% 且零生产事故。
Modal 官方工程博客AI 评分5858 Modal 宣布年化运行率突破 10 亿美元并完成 7.5 亿美元 D 轮融资
AI 基础设施公司 Modal 宣布其年化运行率（Annualized Run Rate）已突破 10 亿美元，同比增长超过 15 倍，使用量在过去五个月内翻了三倍。
AWS Machine Learning BlogAI 评分2626 Amazon SageMaker JumpStart 模型部署与评估指南
Amazon SageMaker JumpStart 提供预训练模型目录，支持通过 SageMaker Python SDK v3 实现一键部署、性能测试及端点清理。
Simon WillisonAI 评分2525 Python 3.15 剖析 web-edit：火焰图与源码热力图
Python 3.15 内置 `profiling.sampling` 剖析显示，web-edit 应用中 `preserve_endings` 占 CPU 栈样本的 64.8%，其中 `SequenceMatcher.find_longest_match` 贡献了 38.3% 的叶子样本。由于 95.1% 的栈来自 AnyIO 工作线程，必须采样所有线程才能捕获完整性能数据。
LangChain Blog精选AI 评分7878 LangChain 发布 Deep Agents Deploy：Claude Managed Agents 的开源替代方案
LangChain 正式推出 Deep Agents Deploy beta 版，这是一个基于开源、模型无关的 Agent Harness 的快速生产级部署工具。
推荐理由：LangChain 推出 Deep Agents Deploy beta，提供模型无关的开源智能体部署方案，强调通过开放标准避免记忆锁定。