跳到正文
OpenRouter Announcements·· 27 天前精选AI 评分68

OpenRouter 评测:Jev 1.13 与 Claude Opus 5 在分类任务中的性能与成本对比

Is Jev as Accurate as Frontier Models at Classification?

AI 导读

OpenRouter 对 TypeSafe 的 Jev 1.13 模型与 Claude Opus 5 在 Banking77 意图分类任务上进行了基准测试。结果显示 Jev 准确率比 Opus 低 3.3 个百分点(81.0% vs 84.4%),但中位延迟快 13 倍且成本低 22 倍。

推荐理由

原文通过 Banking77 数据集实测对比了 Jev 与 Claude Opus 5 在分类任务上的精度、延迟和成本,并提供了基于置信度的级联路由方案。

来源:OpenRouter Announcements · openrouter.ai