Modal 官方工程博客·2026-06-24 08:00· 2026-06-24AI 评分42

Modal 推出 Auto Endpoints，利用推测解码实现 SOTA 推理延迟

Achieve state-of-the-art inference latencies with speculative decoding

AI 导读

Modal 发布 Auto Endpoints，通过结合 Blackwell GPU、SGLang 引擎与推测解码优化，实现低延迟推理。在 Decagon Voice 案例中，该方案将 p50 延迟从约 290ms 降低 100ms，优于专有服务商表现。