Modal 推出 Servers 功能实现超低延迟 HTTP 服务

Modal 正式推出 Servers 功能，专为 HTTP、WebSocket 和 gRPC 流量设计，旨在满足 LLM 推理等对毫秒级延迟敏感的应用场景。该功能通过移除请求路径中的队列和控制平面查找，将 p50 延迟从 39ms 降低至 6ms。