OpenRouterがJev 1.13とClaude Opus 5のBanking77分類タスクにおける精度・レイテンシ・コストを実測
原題:Is Jev as Accurate as Frontier Models at Classification?
AI 要約
OpenRouterはBanking77テストセットの顧客対応コーパス3,080件を用いて、Jev 1.13とClaude Opus 5の意図分類性能を比較した。Jevの精度は81.0%でOpusの84.4%より3.3ポイント低いが、中央値レイテンシは175msとOpus(2,266ms)の約1/13で、1000リクエストあたりのコストは$0.11対$2.42(プロンプトキャッシュ有効時)だった。
要点
- OpenRouterはBanking77テストセットの顧客対応コーパス3,080件を用いて、Jev 1.
- 13とClaude Opus 5の意図分類性能を比較した。
- Jevの精度は81.
- 0%でOpusの84.
- 3ポイント低いが、中央値レイテンシは175msとOpus(2,266ms)の約1/13で、1000リクエストあたりのコストは$0.
概要
- 公開日時
- 更新日時
- カテゴリ
- チュートリアル
- AI スコア
- 62
おすすめの理由
原文用同一测试流程给出两家模型的准确率、延迟与成本数据,并演示了基于置信度的级联路由方法,便于读者按自身流量权衡选型。
関連エンティティ
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:OpenRouterがJev 1.13とClaude Opus 5のBanking77分類タスクにおける精度・レイテンシ・コストを実測。2026年9月22日。https://new.nat6.net/ja/news/cmucxyky704ftronibjzp4dos/