OpenRouter Announcements·· 27 天前精选AI 评分68
OpenRouter 评测:Jev 1.13 与 Claude Opus 5 在分类任务中的性能与成本对比
Is Jev as Accurate as Frontier Models at Classification?
AI 导读
OpenRouter 对 TypeSafe 的 Jev 1.13 模型与 Claude Opus 5 在 Banking77 意图分类任务上进行了基准测试。结果显示 Jev 准确率比 Opus 低 3.3 个百分点(81.0% vs 84.4%),但中位延迟快 13 倍且成本低 22 倍。
推荐理由
原文通过 Banking77 数据集实测对比了 Jev 与 Claude Opus 5 在分类任务上的精度、延迟和成本,并提供了基于置信度的级联路由方案。
来源:OpenRouter Announcements · openrouter.ai