AWS Machine Learning Blog· Shantanu Tripathi·· 8 小时前AI 评分41
Amazon SageMaker Inference 支持 NVIDIA MIG 实现 GPU 分区
SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints
AI 导读
Amazon SageMaker Inference 现已支持利用 NVIDIA Multi-Instance GPU (MIG) 技术对物理 GPU 进行硬件级分区,允许在单个加速器上部署多个模型并隔离资源。该功能通过 inference components 实现,无需用户自行管理 Kubernetes 堆栈即可配置分区 profile,从而提升 GPU 利用率并降低推理成本。
来源:AWS Machine Learning Blog · aws.amazon.com