跳到正文
AWS Machine Learning Blog· Shantanu Tripathi·· 8 小时前AI 评分41

Amazon SageMaker Inference 支持 NVIDIA MIG 实现 GPU 分区

SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints

AI 导读

Amazon SageMaker Inference 现已支持利用 NVIDIA Multi-Instance GPU (MIG) 技术对物理 GPU 进行硬件级分区,允许在单个加速器上部署多个模型并隔离资源。该功能通过 inference components 实现,无需用户自行管理 Kubernetes 堆栈即可配置分区 profile,从而提升 GPU 利用率并降低推理成本。

来源:AWS Machine Learning Blog · aws.amazon.com