Deepgram迁移Nova-3至AWS Trainium2提升语音AI推理效率

Deepgram 将 Nova-3 语音模型迁移至 AWS Trainium2，在离线批处理工作负载中实现每美元音频处理量提升 11–70%。 该优化通过移植到 AWS Neuron 软件栈、利用 NKI 库融合内核及手写代码调优完成。具体性能改进包括：FFN 层延迟降低 2.0 倍，Depthwise conv1d 加速 1.5 倍，Conv2d 模块最高提速 50 倍。此外，Deepgram 构建了数据并行的 Rust 运行时，使其自有模型服务器能够调用 Trainium 硬件。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。