EVA-Bench Data 2.0 Dirilis: Mencakup Tiga Domain, 121 Alat, 213 Skenario
Judul asli:EVA-Bench Data 2.0: 3 Domains, 121 Tools, 213 Scenarios
Ringkasan AI
EVA-Bench Data 2.0 memperluas cakupan evaluasi dari satu domain perusahaan menjadi tiga domain: manajemen layanan pelanggan (CSM) maskapai penerbangan, manajemen layanan TI perusahaan (ITSM), dan penyampaian layanan SDM kesehatan (HRSD), dengan total 121 alat dan 213 skenario, jumlah skenario tumbuh sekitar 4 kali lipat dari versi awal. Setiap skenario telah diverifikasi dapat diselesaikan oleh OpenAI GPT-5.4, Google Gemini 3.1 Pro, dan Anthropic Claude Opus 4.6. Kumpulan data ini mengikuti lima prinsip desain: mengutamakan suara, autentisitas, keragaman, alur autentikasi, dan reproduksibilitas, serta mencakup jenis panggilan satu niat, multi-niat (hingga 4 niat), dan adversarial. Ketiga kumpulan data telah dirilis sebagai sumber terbuka dan dapat diunduh langsung dari Hugging Face melalui `load_dataset`. Ekstensi multibahasa akan menyusul.
Poin utama
- EVA-Bench Data 2.
- 0 memperluas cakupan evaluasi dari satu domain perusahaan menjadi tiga domain: manajemen layanan…
- Setiap skenario telah diverifikasi dapat diselesaikan oleh OpenAI GPT-5.
- 4,Google Gemini 3.
- 1 Pro,dan Anthropic Claude Opus 4.
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- Hugging Face 社区博客(混合发现)
- Kategori
- Makalah & Riset
- Skor AI
- 65
语音代理评测缺的就是这种真实场景的数据集,EVA-Bench 2.0 把航空、IT、医疗三个最棘手的领域打包了,生成流水线也开源,做评测的可以直接拿来用。
Entitas Terkait
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: EVA-Bench Data 2.0 Dirilis: Mencakup Tiga Domain, 121 Alat, 213 Skenario. 4 Juni 2026. https://new.nat6.net/id/news/cmpzhk1rp03k5slkpmx3q7mp3/