Tutorial & Tips

OpenRouter menguji akurasi, latensi, dan biaya Jev 1.13 vs Claude Opus 5 pada tugas klasifikasi Banking77

Judul asli:Is Jev as Accurate as Frontier Models at Classification?

Ringkasan AI

OpenRouter menggunakan 3.080 data pelanggan dari set uji Banking77 untuk membandingkan performa klasifikasi intent Jev 1.13 dan Claude Opus 5. Akurasi Jev 81,0% lebih rendah 3,3 poin persentase dari Opus 84,4%, tetapi latensi median 175 ms sekitar 1/13 dari Opus (2.266 ms), dengan biaya $0,11 vs $2,42 per seribu permintaan (dengan prompt caching aktif).

Poin utama

  • OpenRouter menggunakan 3.
  • 080 data pelanggan dari set uji Banking77 untuk membandingkan performa klasifikasi intent Jev 1.
  • 13 dan Claude Opus 5.
  • Akurasi Jev 81,0% lebih rendah 3,3 poin persentase dari Opus 84,4%,tetapi latensi median 175 ms…
  • 266 ms),dengan biaya $0,11 vs $2,42 per seribu permintaan (dengan prompt caching aktif).

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
OpenRouter:Announcements(RSS)
Kategori
Tutorial & Tips
Skor AI
62
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

原文用同一测试流程给出两家模型的准确率、延迟与成本数据,并演示了基于置信度的级联路由方法,便于读者按自身流量权衡选型。

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: OpenRouter menguji akurasi, latensi, dan biaya Jev 1.13 vs Claude Opus 5 pada tugas klasifikasi Banking77. 22 September 2026. https://new.nat6.net/id/news/cmucxyky704ftronibjzp4dos/

Lihat semua →