AWS发布SageMaker TTS自动缩放实测教程

AWS Machine Learning Blog 发布教程，演示在 Amazon SageMaker AI 部署 Kokoro-82M 文本转语音（TTS）模型时，如何通过实测数据优化自动扩缩容策略。该方案针对非自回归 TTS 模型默认指标不适用的问题，利用原生指标 ConcurrentRequestsPerModel 动态计算阈值，以替代猜测式配置，从而避免 GPU 闲置或延迟超标。 教程通过 AWS CDK 栈部署自定义容器，并指导用户测量最大并发请求数（Q_max）和总处理时间（T_total）来推导缩放目标。需注意，示例容器锁定的 PyTorch 版本存在已知安全漏洞（PYSEC-2026-2286），在非验证性使用前需升级至 torch 2.10.0；此外，执行扩容测量前需确保 ml.g5.xlarge 服务配额至少有一个空闲槽位。

AI 根据报道生成 · 14 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。