Naglabas ang Hugging Face blog ng benchmark para sa code-switching ng voice agents
Orihinal na pamagat:Can Voice Agents Handle Bilingual Customers? Benchmarking Frontier ASR on Code-Switched Speech
AI summary
Naglabas ang Hugging Face blog ng benchmark para sa paghawak ng voice agents sa code-switched na pananalita. Saklaw ng dataset ang apat na pares ng wika: Spanish-English, French-English, Canadian French-English, at German-English, na binuo batay sa human resources at IT service management scenarios. Sinusuri nito ang pitong ASR system gamit ang tatlong metric—word error rate, semantic word error rate, at answer error rate—kabilang ang AssemblyAI Universal 3-Pro, Deepgram Nova 3 Multilang, ElevenLabs Scribe V2, Gemini 3 Flash, Mistral AI Voxtral Small 24B-2507, Nvidia Parakeet TDT 0.6b V3, at OpenAI Whisper Large V3 Turbo. Pangunahing natuklasan: nag-iiba ang gastos sa transcription ng code-switching depende sa pares ng wika at modelo; pinakamahusay ang ElevenLabs Scribe V2, Gemini 3 Flash, at AssemblyAI Universal 3-Pro sa lahat ng metric. Inilabas ang dataset at test framework bilang open source sa pamamagitan ng AU-Harness.
Mahahalagang impormasyon
- Naglabas ang Hugging Face blog ng benchmark para sa paghawak ng voice agents sa code-switched na…
- Saklaw ng dataset ang apat na pares ng wika: Spanish-English,French-English,Canadian…
- Sinusuri nito ang pitong ASR system gamit ang tatlong metric—word error rate,semantic word error…
- 6b V3,at OpenAI Whisper Large V3 Turbo.
- Pangunahing natuklasan: nag-iiba ang gastos sa transcription ng code-switching depende sa pares ng…
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- Hugging Face 社区博客(混合发现)
- Kategorya
- Mga Papel at Pananaliksik
- AI na marka
- 67
如果你在给多语言客户做语音Agent,这篇博客直接把主流ASR的code-switching能力测了一遍,ElevenLabs Scribe V2目前最强,还开源了数据集,拿来就能测自己的模型。
Kaugnay na Entity
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Naglabas ang Hugging Face blog ng benchmark para sa code-switching ng voice agents. 10 Hunyo 2026. https://new.nat6.net/fil/news/cmq7289uo001rsle3dbj1unbi/