跳到正文
Together AI Blog·· 2026-07-29精选AI 评分68

Together AI 发布 ThunderAgent:面向大规模智能体推理的加速系统

ThunderAgent: 2x Faster Agentic Inference for Synthetic Data Generation at Scale

AI 导读

Together AI 推出 ThunderAgent,一种用于高吞吐量智能体推理的系统,通过将每个智能体工作流抽象为可调度的程序来解决 KV cache 抖动问题。

推荐理由

ThunderAgent 通过程序级调度解决 KV cache 抖动,在合成数据生成中实现最高 2.5 倍吞吐提升且兼容现有引擎。

来源:Together AI Blog · together.ai