论文与研究

EVA-Bench Data 2.0 发布:覆盖三大领域、121 个工具、213 个场景

原文标题:EVA-Bench Data 2.0: 3 Domains, 121 Tools, 213 Scenarios

AI 摘要

EVA-Bench Data 2.0 将评估范围从单一企业领域扩展至航空公司客户服务管理(CSM)、企业 IT 服务管理(ITSM)和医疗 HR 服务交付(HRSD)三个领域,共涵盖 121 个工具、213 个场景,场景数较原始版本增长约 4 倍。每个场景均经 OpenAI GPT-5.4、Google Gemini 3.1 Pro 和 Anthropic Claude Opus 4.6 验证可解性。数据集遵循语音优先、真实性、多样性、认证流程和可复现性五项设计原则,包含单意图、多意图(最多 4 个意图)和对抗性呼叫类型。所有三个数据集已开源,可通过 `load_dataset` 从 Hugging Face 直接下载。后续将推出多语言扩展。

关键信息

  • EVA-Bench Data 2.
  • 0 将评估范围从单一企业领域扩展至航空公司客户服务管理(CSM)、企业 IT 服务管理(ITSM)和医疗 HR 服务交付(HRSD)三个领域,共涵盖 121 个工具、213 个场景,场景数较原始版本…
  • 每个场景均经 OpenAI GPT-5.
  • 4、Google Gemini 3.
  • 1 Pro 和 Anthropic Claude Opus 4.

速览

发布时间
更新时间
来源
Hugging Face 社区博客(混合发现)
分类
论文与研究
AI 评分
65
阅读原文 前往信息源阅读完整正文
推荐理由

语音代理评测缺的就是这种真实场景的数据集,EVA-Bench 2.0 把航空、IT、医疗三个最棘手的领域打包了,生成流水线也开源,做评测的可以直接拿来用。

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:EVA-Bench Data 2.0 发布:覆盖三大领域、121 个工具、213 个场景。2026年6月4日。https://new.nat6.net/news/cmpzhk1rp03k5slkpmx3q7mp3/

查看全部 →
  • Nemotron 预训练的任务种子合成问答生成

    在 Nemotron-3 Nano 模型的 100B token 续训练实验中,任务种子合成数据生成(Task-Seeded SDG)使 MMLU-Pro 提升 1.8 分,平均代码提升 1.9 分,常识理解提升 1.6 分,GPQA 提…

    Hugging Face 社区博客(混合发现)论文与研究AI 评分 68

  • Google Research 发布被动心率监测系统 PHRM

    Google Research 开发了一种被动心率监测系统(PHRM),利用智能手机前置摄像头在日常使用中(人脸解锁后数秒内)捕捉面部视频,通过深度学习估算心率,平均绝对百分比误差(MAPE)低于10%(对比心电图金标准),满足各肤色人群…

    Google Research:Blog(网页)论文与研究AI 评分 79

  • Anthropic:让Claude成为化学家

    Anthropic与顶尖化学家合作,提升Claude在化学领域的实用性。首个白皮书测试Claude在NMR谱图分析上的表现:在20个化合物上,对比Claude Opus 4.7、Opus 4.6、Sonnet 4.6与ChemDraw、M…

    Anthropic:Research(发表成果 · 网页)论文与研究AI 评分 65