Together AI Blog·· 2026-07-29精选AI 评分68
Together AI 发布 ThunderAgent:面向大规模智能体推理的加速系统
ThunderAgent: 2x Faster Agentic Inference for Synthetic Data Generation at Scale
AI 导读
Together AI 推出 ThunderAgent,一种用于高吞吐量智能体推理的系统,通过将每个智能体工作流抽象为可调度的程序来解决 KV cache 抖动问题。
推荐理由
ThunderAgent 通过程序级调度解决 KV cache 抖动,在合成数据生成中实现最高 2.5 倍吞吐提升且兼容现有引擎。
来源:Together AI Blog · together.ai