教程与技巧

OpenRouter 实测 Jev 1.13 与 Claude Opus 5 在 Banking77 分类任务上的准确率、延迟与成本

原文标题:Is Jev as Accurate as Frontier Models at Classification?

AI 摘要

OpenRouter 用 Banking77 测试集的 3,080 条客服语料对比 Jev 1.13 与 Claude Opus 5 的意图分类表现。Jev 准确率 81.0% 比 Opus 的 84.4% 低 3.3 个百分点,但中位延迟 175 ms 约为 Opus(2,266 ms)的 1/13,每千次请求成本 $0.11 对 $2.42(启用提示词缓存)。

关键信息

  • OpenRouter 用 Banking77 测试集的 3,080 条客服语料对比 Jev 1.
  • 13 与 Claude Opus 5 的意图分类表现。
  • Jev 准确率 81.
  • 0% 比 Opus 的 84.
  • 3 个百分点,但中位延迟 175 ms 约为 Opus(2,266 ms)的 1/13,每千次请求成本 $0.

速览

发布时间
更新时间
来源
OpenRouter:Announcements(RSS)
分类
教程与技巧
AI 评分
62
阅读原文 前往信息源阅读完整正文
推荐理由

原文用同一测试流程给出两家模型的准确率、延迟与成本数据,并演示了基于置信度的级联路由方法,便于读者按自身流量权衡选型。

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:OpenRouter 实测 Jev 1.13 与 Claude Opus 5 在 Banking77 分类任务上的准确率、延迟与成本。2026年9月22日。https://new.nat6.net/news/cmucxyky704ftronibjzp4dos/

查看全部 →