Together AI 发布大规模编码智能体推理基准测试

Together AI 发布了针对编码智能体的大规模推理基准测试 v1，重点评估高并发和长上下文下的系统表现。该测试使用 Kimi K2.5 模型，显示 Together Inference Engine 在 2.5M TPM 负载下 p50 TTFT 为 0.71s，优于 TensorRT-LLM 的 1.1s 和 SGLang 的 5.1s。