Статьи и исследования

Блог Hugging Face опубликовал бенчмарк переключения кода для голосовых агентов

Оригинальный заголовок:Can Voice Agents Handle Bilingual Customers? Benchmarking Frontier ASR on Code-Switched Speech

ИИ-резюме

Блог Hugging Face опубликовал бенчмарк для голосовых агентов, обрабатывающих речь с переключением кода. Набор данных охватывает четыре языковые пары: испанский-английский, французский-английский, канадский французский-английский и немецкий-английский, и построен на сценариях управления персоналом и ИТ-услугами. Семь ASR-систем оцениваются по трём метрикам: частоте ошибок в словах, семантической частоте ошибок в словах и частоте ошибок в ответах, включая AssemblyAI Universal 3-Pro, Deepgram Nova 3 Multilang, ElevenLabs Scribe V2, Gemini 3 Flash, Mistral AI Voxtral Small 24B-2507, Nvidia Parakeet TDT 0.6b V3 и OpenAI Whisper Large V3 Turbo. Основные выводы: стоимость транскрипции при переключении кода зависит от языковой пары и модели; ElevenLabs Scribe V2, Gemini 3 Flash и AssemblyAI Universal 3-Pro показали лучшие результаты по всем метрикам. Набор данных и тестовый фреймворк открыто опубликованы через AU-Harness.

Ключевые моменты

  • Блог Hugging Face опубликовал бенчмарк для голосовых агентов,обрабатывающих речь с переключением…
  • Набор данных охватывает четыре языковые пары:…
  • Семь ASR-систем оцениваются по трём метрикам: частоте ошибок в словах,семантической частоте ошибок…
  • 6b V3 и OpenAI Whisper Large V3 Turbo.
  • Основные выводы: стоимость транскрипции при переключении кода зависит от языковой пары и модели

Кратко

Опубликовано
Обновлено
Источник
Hugging Face 社区博客(混合发现)
Категория
Статьи и исследования
Оценка ИИ
67
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

如果你在给多语言客户做语音Agent,这篇博客直接把主流ASR的code-switching能力测了一遍,ElevenLabs Scribe V2目前最强,还开源了数据集,拿来就能测自己的模型。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Блог Hugging Face опубликовал бенчмарк переключения кода для голосовых агентов. 10 июня 2026. https://new.nat6.net/ru/news/cmq7289uo001rsle3dbj1unbi/

Смотреть все →