Modal 发布 Quail：联合优化查询规划器与推理引擎以加速 AI-SQL
Modal 推出名为 Quail 的推理引擎，专门用于加速 AI-SQL 工作负载，在单张 H100 GPU 上实现超过 10 亿 tokens/min 的处理速度，比 vLLM 基线快 10 倍以上。
AI 推荐理由：原文展示了针对 AI-SQL 负载的专用推理引擎 Quail，通过联合优化查询计划与推理过程实现显著性能提升。
#部署/工程
Modal 官方工程博客· AI 生成精选AI 评分6868
SemiAnalysis· AI 生成精选AI 评分8282 SemiAnalysis发布TPUv7 Ironwood第三方推理实测与TorchTPU栈深度解析
SemiAnalysis在InferenceX Preview中发布了Google TPUv7 Ironwood的首批第三方推理结果，显示其在FP8聚合服务模式下相比NVIDIA B200/B300拥有最高50%的性能每美元优势。
AI 推荐理由：第三方实测显示TPUv7在FP8聚合服务下性能每美元比B200高50%，并解析了TorchTPU栈的优化细节。
SemiAnalysis· AI 生成精选AI 评分8383 SemiAnalysis 发布开源智能体推理基准 AgentX 1.0
SemiAnalysis 宣布推出 AgentX 1.0，这是全球首个完全开源的多轮智能体编码推理基准，支持百万级上下文长度，采用 Apache 2.0 协议发布。
AI 推荐理由：SemiAnalysis 发布首个百万上下文智能体编码推理基准 AgentX，并开源了针对 vLLM、SGLang 等框架的数十项上游优化，为评估 AI 硬件在真实多轮长上下文负载下的性能提供了新标准。
Berkeley AI Research· AI 生成精选AI 评分6262 K-Search 框架实现从 CUDA 到 MLX 的内核优化知识迁移
Berkeley AI Research 团队扩展 K-Search 框架并引入 MLX 后端，通过结构化 CUDA-to-MLX 翻译层自动迁移内核优化知识。该方法在 Apple Silicon 上使 Attention 内核达到原生 MLX 的 0.97x 速度，并在 Mamba SSM 内核 prefill 阶段相比社区实现获得最高 20x 加速。
AI 推荐理由：原文展示了通过结构化翻译层将 CUDA 优化知识迁移至 Apple Silicon 的方法，实现了接近专家级的内核性能。
Together AI Blog· AI 生成精选AI 评分6868 Together AI 发布 ThunderAgent：面向大规模智能体推理的加速系统
Together AI 推出 ThunderAgent，一种用于高吞吐量智能体推理的系统，通过将每个智能体工作流抽象为可调度的程序来解决 KV cache 抖动问题。
AI 推荐理由：ThunderAgent 通过程序级调度解决 KV cache 抖动，在合成数据生成中实现最高 2.5 倍吞吐提升且兼容现有引擎。
已经到底了