Together AI 如何构建全球最快的语音转文本技术栈

Together AI 通过优化 NVIDIA Parakeet-TDT 0.6B v3 和 OpenAI Whisper Large v3，实现了极低的语音转文本延迟。其核心改进包括使用 TensorRT 多配置文件加速编码器、利用条件 CUDA graph 将解码器分支移至 GPU 实现 2-3 倍提速，以及消除 CPU 冗余数据拷贝。