论文与研究

Hugging Face 博客发布语音智能体代码切换基准测试

原文标题:Can Voice Agents Handle Bilingual Customers? Benchmarking Frontier ASR on Code-Switched Speech

AI 摘要

Hugging Face 博客发布针对语音智能体处理代码切换语音的基准测试。数据集覆盖西班牙语‑英语、法语‑英语、加拿大法语‑英语和德语‑英语四对语言,基于人力资源与IT服务管理场景构建。采用词错误率、语义词错误率和答案错误率三项指标评估七种ASR系统,包括AssemblyAI Universal 3-Pro、Deepgram Nova 3 Multilang、ElevenLabs Scribe V2、Gemini 3 Flash、Mistral AI Voxtral Small 24B-2507、Nvidia Parakeet TDT 0.6b V3和OpenAI Whisper Large V3 Turbo。主要发现:代码切换的转录成本因语言对和模型而异;ElevenLabs Scribe V2、Gemini 3 Flash和AssemblyAI Universal 3-Pro在所有指标上表现最佳。数据集和测试框架通过AU-Harness开源发布。

关键信息

  • Hugging Face 博客发布针对语音智能体处理代码切换语音的基准测试。
  • 数据集覆盖西班牙语‑英语、法语‑英语、加拿大法语‑英语和德语‑英语四对语言,基于人力资源与IT服务管理场景构建。
  • 采用词错误率、语义词错误率和答案错误率三项指标评估七种ASR系统,包括AssemblyAI Universal 3-Pro、Deepgram Nova 3 Multilang、ElevenLabs…
  • 6b V3和OpenAI Whisper Large V3 Turbo。
  • 主要发现:代码切换的转录成本因语言对和模型而异

速览

发布时间
更新时间
来源
Hugging Face 社区博客(混合发现)
分类
论文与研究
AI 评分
67
阅读原文 前往信息源阅读完整正文
推荐理由

如果你在给多语言客户做语音Agent,这篇博客直接把主流ASR的code-switching能力测了一遍,ElevenLabs Scribe V2目前最强,还开源了数据集,拿来就能测自己的模型。

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:Hugging Face 博客发布语音智能体代码切换基准测试。2026年6月10日。https://new.nat6.net/news/cmq7289uo001rsle3dbj1unbi/

查看全部 →
  • Google Research提出审计机器遗忘新框架

    Google Research 在 AISTATS 2026 发表正则化 f-散度核检验,用于高效审计 LLM 等模型的机器遗忘。该方法通过统计两样本检验判断模型是否真正“忘记”特定训练数据,避免完全重训的巨大成本。相比最大均值差异等现有…

    Google Research:Blog(网页)论文与研究AI 评分 63

  • 百度百舸联合复旦提出LU-KV框架,被ICML 2026录用

    百度百舸团队与复旦大学合作提出Long-horizon Utility KV(LU-KV)框架,将头级KV Cache预算分配建模为面向长程边际效用的全局组合优化问题。LU-KV通过离线画像估计注意力头边际贡献曲线,结合凸包松弛与基于边际…

    公众号:百度智能云(文心)论文与研究AI 评分 63

  • Perplexity与哈佛:AI智能体提效87%降本94%

    我们与哈佛大学发表新研究,关于从聊天界面转向像Computer这样的自主智能体的转变。 超过3个月的研究结果表明,使用Computer的工人在完成任务上比仅使用搜索快87%,成本低94%,且满意度更高。 https://research.…

    X:Perplexity (@perplexity_ai)论文与研究AI 评分 76