跳到正文
AWS Machine Learning Blog· Pierre Lienhart·· 4 小时前AI 评分28

Deepgram 如何利用 AWS Trainium2 优化大规模语音 AI

How Deepgram optimized voice AI at scale with AWS Trainium

AI 导读

Deepgram 将 Nova-3 模型迁移至 AWS Trainium2,在离线批处理工作负载中实现每美元音频处理量提升 11–70%。通过 NKI 库融合内核及手写优化,FFN 层延迟降低 2.0x,Depthwise conv1d 加速 1.5x,Conv2d 模块最高提速 50x。

来源:AWS Machine Learning Blog · aws.amazon.com