Amazon SageMaker AI 优化 Mixture-of-Experts 内核工程

Amazon SageMaker AI 通过 Swap-AB 技术优化 Hopper 架构上的 MoE 内核，将专家维度映射至固定行数以提升 WGMMA 利用率，使 H200 上的端到端吞吐量提高 2–4%，该优化已集成至 vLLM 0.24.0+。针对 FP8 量化模型，Triton 后端因寄存器级融合与单次内存访问特性，在低并发场景下性能优于默认的 FlashInfer+CUTLASS 路径。