Makalah & Riset

EVA-Bench Data 2.0 Dirilis: Mencakup Tiga Domain, 121 Alat, 213 Skenario

Judul asli:EVA-Bench Data 2.0: 3 Domains, 121 Tools, 213 Scenarios

Ringkasan AI

EVA-Bench Data 2.0 memperluas cakupan evaluasi dari satu domain perusahaan menjadi tiga domain: manajemen layanan pelanggan (CSM) maskapai penerbangan, manajemen layanan TI perusahaan (ITSM), dan penyampaian layanan SDM kesehatan (HRSD), dengan total 121 alat dan 213 skenario, jumlah skenario tumbuh sekitar 4 kali lipat dari versi awal. Setiap skenario telah diverifikasi dapat diselesaikan oleh OpenAI GPT-5.4, Google Gemini 3.1 Pro, dan Anthropic Claude Opus 4.6. Kumpulan data ini mengikuti lima prinsip desain: mengutamakan suara, autentisitas, keragaman, alur autentikasi, dan reproduksibilitas, serta mencakup jenis panggilan satu niat, multi-niat (hingga 4 niat), dan adversarial. Ketiga kumpulan data telah dirilis sebagai sumber terbuka dan dapat diunduh langsung dari Hugging Face melalui `load_dataset`. Ekstensi multibahasa akan menyusul.

Poin utama

  • EVA-Bench Data 2.
  • 0 memperluas cakupan evaluasi dari satu domain perusahaan menjadi tiga domain: manajemen layanan…
  • Setiap skenario telah diverifikasi dapat diselesaikan oleh OpenAI GPT-5.
  • 4,Google Gemini 3.
  • 1 Pro,dan Anthropic Claude Opus 4.

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
Hugging Face 社区博客(混合发现)
Kategori
Makalah & Riset
Skor AI
65
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

语音代理评测缺的就是这种真实场景的数据集,EVA-Bench 2.0 把航空、IT、医疗三个最棘手的领域打包了,生成流水线也开源,做评测的可以直接拿来用。

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: EVA-Bench Data 2.0 Dirilis: Mencakup Tiga Domain, 121 Alat, 213 Skenario. 4 Juni 2026. https://new.nat6.net/id/news/cmpzhk1rp03k5slkpmx3q7mp3/

Lihat semua →