OpenRouter Announcements·· 27 天前精选AI 评分68
OpenRouter 推出 Batch API 实现半价批量推理
Batch API: half-price inference by bundling requests
AI 导读
OpenRouter 发布 Batch API，允许用户提交异步请求以换取约 50% 的 token 价格折扣，目前支持超过 70 个模型。该功能适用于标注语料、回填嵌入向量等非实时工作负载，Beta 期间数据显示中位完成时间仅 7 分钟，90% 的任务在一小时内结束。
推荐理由
官方公布批量推理的半价机制与实测延迟数据，为处理非实时大规模任务提供了具体的成本优化方案。
来源：OpenRouter Announcements · openrouter.ai