OpenRouter menguji akurasi, latensi, dan biaya Jev 1.13 vs Claude Opus 5 pada tugas klasifikasi Banking77
Judul asli:Is Jev as Accurate as Frontier Models at Classification?
Ringkasan AI
OpenRouter menggunakan 3.080 data pelanggan dari set uji Banking77 untuk membandingkan performa klasifikasi intent Jev 1.13 dan Claude Opus 5. Akurasi Jev 81,0% lebih rendah 3,3 poin persentase dari Opus 84,4%, tetapi latensi median 175 ms sekitar 1/13 dari Opus (2.266 ms), dengan biaya $0,11 vs $2,42 per seribu permintaan (dengan prompt caching aktif).
Poin utama
- OpenRouter menggunakan 3.
- 080 data pelanggan dari set uji Banking77 untuk membandingkan performa klasifikasi intent Jev 1.
- 13 dan Claude Opus 5.
- Akurasi Jev 81,0% lebih rendah 3,3 poin persentase dari Opus 84,4%,tetapi latensi median 175 ms…
- 266 ms),dengan biaya $0,11 vs $2,42 per seribu permintaan (dengan prompt caching aktif).
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Kategori
- Tutorial & Tips
- Skor AI
- 62
原文用同一测试流程给出两家模型的准确率、延迟与成本数据,并演示了基于置信度的级联路由方法,便于读者按自身流量权衡选型。
Entitas Terkait
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: OpenRouter menguji akurasi, latensi, dan biaya Jev 1.13 vs Claude Opus 5 pada tugas klasifikasi Banking77. 22 September 2026. https://new.nat6.net/id/news/cmucxyky704ftronibjzp4dos/