Hugging Face 블로그, 음성 에이전트 코드 스위칭 벤치마크 공개
원제목:Can Voice Agents Handle Bilingual Customers? Benchmarking Frontier ASR on Code-Switched Speech
AI 요약
Hugging Face 블로그가 음성 에이전트의 코드 스위칭 음성 처리에 대한 벤치마크를 공개했습니다. 데이터셋은 스페인어-영어, 프랑스어-영어, 캐나다 프랑스어-영어, 독일어-영어 네 쌍의 언어를 포함하며 인사 및 IT 서비스 관리 시나리오를 기반으로 구축되었습니다. 단어 오류율, 의미 단어 오류율, 답변 오류율 세 가지 지표로 AssemblyAI Universal 3-Pro, Deepgram Nova 3 Multilang, ElevenLabs Scribe V2, Gemini 3 Flash, Mistral AI Voxtral Small 24B-2507, Nvidia Parakeet TDT 0.6b V3, OpenAI Whisper Large V3 Turbo 등 7개 ASR 시스템을 평가했습니다. 주요 발견은 코드 스위칭 전사 비용이 언어 쌍과 모델에 따라 다르며, ElevenLabs Scribe V2, Gemini 3 Flash, AssemblyAI Universal 3-Pro가 모든 지표에서 가장 우수한 성능을 보였다는 것입니다. 데이터셋과 테스트 프레임워크는 AU-Harness를 통해 오픈소스로 공개되었습니다.
핵심 정보
- Hugging Face 블로그가 음성 에이전트의 코드 스위칭 음성 처리에 대한 벤치마크를 공개했습니다.
- 데이터셋은 스페인어-영어,프랑스어-영어,캐나다 프랑스어-영어,독일어-영어 네 쌍의 언어를 포함하며 인사 및 IT 서비스 관리 시나리오를 기반으로 구축되었습니다.
- 단어 오류율,의미 단어 오류율,답변 오류율 세 가지 지표로 AssemblyAI Universal 3-Pro,Deepgram Nova 3 Multilang,ElevenLabs…
- 6b V3,OpenAI Whisper Large V3 Turbo 등 7개 ASR 시스템을 평가했습니다.
- 주요 발견은 코드 스위칭 전사 비용이 언어 쌍과 모델에 따라 다르며,ElevenLabs Scribe V2,Gemini 3 Flash,AssemblyAI Universal…
한눈에 보기
- 게시
- 업데이트
- 카테고리
- 논문 및 연구
- AI 점수
- 67
如果你在给多语言客户做语音Agent,这篇博客直接把主流ASR的code-switching能力测了一遍,ElevenLabs Scribe V2目前最强,还开源了数据集,拿来就能测自己的模型。
관련 엔티티
출처 및 저작권
이 기사는 AIHOT 공개 API가 제공하는 선별 제목과 AI 요약을 바탕으로 하며, 출처를 밝히고 원문으로 연결합니다. 원문 저작권은 원 미디어와 저자에게 있으며, 본 사이트는 전문을 전재하지 않습니다.
인용 방법
본문을 인용할 때는 제목, 날짜, 영구 링크를 유지하고 출처를 Orange News(으)로 표기해 주세요.
Orange News: Hugging Face 블로그, 음성 에이전트 코드 스위칭 벤치마크 공개. 2026년 6월 10일. https://new.nat6.net/ko/news/cmq7289uo001rsle3dbj1unbi/