チュートリアル

OpenRouterがJev 1.13とClaude Opus 5のBanking77分類タスクにおける精度・レイテンシ・コストを実測

原題:Is Jev as Accurate as Frontier Models at Classification?

AI 要約

OpenRouterはBanking77テストセットの顧客対応コーパス3,080件を用いて、Jev 1.13とClaude Opus 5の意図分類性能を比較した。Jevの精度は81.0%でOpusの84.4%より3.3ポイント低いが、中央値レイテンシは175msとOpus(2,266ms)の約1/13で、1000リクエストあたりのコストは$0.11対$2.42(プロンプトキャッシュ有効時)だった。

要点

  • OpenRouterはBanking77テストセットの顧客対応コーパス3,080件を用いて、Jev 1.
  • 13とClaude Opus 5の意図分類性能を比較した。
  • Jevの精度は81.
  • 0%でOpusの84.
  • 3ポイント低いが、中央値レイテンシは175msとOpus(2,266ms)の約1/13で、1000リクエストあたりのコストは$0.

概要

公開日時
更新日時
出典
OpenRouter:Announcements(RSS)
カテゴリ
チュートリアル
AI スコア
62
原文を読む 情報源で全文を読む
おすすめの理由

原文用同一测试流程给出两家模型的准确率、延迟与成本数据,并演示了基于置信度的级联路由方法,便于读者按自身流量权衡选型。

関連エンティティ

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:OpenRouterがJev 1.13とClaude Opus 5のBanking77分類タスクにおける精度・レイテンシ・コストを実測。2026年9月22日。https://new.nat6.net/ja/news/cmucxyky704ftronibjzp4dos/

すべて見る →