Makalah & Riset

Blog Hugging Face merilis benchmark code-switching untuk agen suara

Judul asli:Can Voice Agents Handle Bilingual Customers? Benchmarking Frontier ASR on Code-Switched Speech

Ringkasan AI

Blog Hugging Face merilis benchmark untuk agen suara dalam menangani ujaran code-switching. Dataset mencakup empat pasangan bahasa: Spanyol-Inggris, Prancis-Inggris, Prancis Kanada-Inggris, dan Jerman-Inggris, yang dibangun berdasarkan skenario sumber daya manusia dan manajemen layanan TI. Tiga metrik—word error rate, semantic word error rate, dan answer error rate—digunakan untuk mengevaluasi tujuh sistem ASR, termasuk AssemblyAI Universal 3-Pro, Deepgram Nova 3 Multilang, ElevenLabs Scribe V2, Gemini 3 Flash, Mistral AI Voxtral Small 24B-2507, Nvidia Parakeet TDT 0.6b V3, dan OpenAI Whisper Large V3 Turbo. Temuan utama: biaya transkripsi code-switching bervariasi menurut pasangan bahasa dan model; ElevenLabs Scribe V2, Gemini 3 Flash, dan AssemblyAI Universal 3-Pro tampil terbaik pada semua metrik. Dataset dan kerangka pengujian dirilis sebagai sumber terbuka melalui AU-Harness.

Poin utama

  • Blog Hugging Face merilis benchmark untuk agen suara dalam menangani ujaran code-switching.
  • Dataset mencakup empat pasangan bahasa: Spanyol-Inggris,Prancis-Inggris,Prancis Kanada-Inggris,dan…
  • Tiga metrik—word error rate,semantic word error rate,dan answer error rate—digunakan untuk…
  • 6b V3,dan OpenAI Whisper Large V3 Turbo.
  • Temuan utama: biaya transkripsi code-switching bervariasi menurut pasangan bahasa dan model

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
Hugging Face 社区博客(混合发现)
Kategori
Makalah & Riset
Skor AI
67
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

如果你在给多语言客户做语音Agent,这篇博客直接把主流ASR的code-switching能力测了一遍,ElevenLabs Scribe V2目前最强,还开源了数据集,拿来就能测自己的模型。

Entitas Terkait

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Blog Hugging Face merilis benchmark code-switching untuk agen suara. 10 Juni 2026. https://new.nat6.net/id/news/cmq7289uo001rsle3dbj1unbi/

Lihat semua →