跳到正文
AWS Machine Learning Blog· Joseph Cottingham·· 49 分钟前AI 评分43

基于实测数据优化 Amazon SageMaker AI 上 Kokoro-82M TTS 自动扩缩容

Stop guessing auto scaling targets for TTS on Amazon SageMaker AI

AI 导读

AWS 演示在 Amazon SageMaker AI 部署 Kokoro-82M 时,通过实测 Q_max 和 T_total 替代猜测的自动扩缩容目标。该方案利用原生指标 ConcurrentRequestsPerModel 动态计算阈值,解决默认指标不适用于非自回归 TTS 的问题,避免 GPU 闲置或延迟超标。

来源:AWS Machine Learning Blog · aws.amazon.com