Статьи и исследования

Выпущен EVA-Bench Data 2.0: три предметные области, 121 инструмент, 213 сценариев

Оригинальный заголовок:EVA-Bench Data 2.0: 3 Domains, 121 Tools, 213 Scenarios

ИИ-резюме

EVA-Bench Data 2.0 расширяет оценку с одной корпоративной области до трёх: управление обслуживанием клиентов авиакомпании (CSM), управление ИТ-услугами предприятия (ITSM) и предоставление HR-услуг в здравоохранении (HRSD), охватывая 121 инструмент и 213 сценариев — примерно в 4 раза больше, чем в исходной версии. Разрешимость каждого сценария проверена с помощью OpenAI GPT-5.4, Google Gemini 3.1 Pro и Anthropic Claude Opus 4.6. Набор данных следует пяти принципам проектирования: приоритет голоса, реалистичность, разнообразие, процедуры аутентификации и воспроизводимость; он включает одноинтентные, многоинтентные (до 4 интентов) и состязательные типы звонков. Все три набора данных открыты и доступны для прямой загрузки с Hugging Face через `load_dataset`. В дальнейшем планируется многоязычное расширение.

Ключевые моменты

  • EVA-Bench Data 2.
  • 0 расширяет оценку с одной корпоративной области до трёх: управление обслуживанием клиентов…
  • Разрешимость каждого сценария проверена с помощью OpenAI GPT-5.
  • 4,Google Gemini 3.
  • 1 Pro и Anthropic Claude Opus 4.

Кратко

Опубликовано
Обновлено
Источник
Hugging Face 社区博客(混合发现)
Категория
Статьи и исследования
Оценка ИИ
65
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

语音代理评测缺的就是这种真实场景的数据集,EVA-Bench 2.0 把航空、IT、医疗三个最棘手的领域打包了,生成流水线也开源,做评测的可以直接拿来用。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Выпущен EVA-Bench Data 2.0: три предметные области, 121 инструмент, 213 сценариев. 4 июня 2026. https://new.nat6.net/ru/news/cmpzhk1rp03k5slkpmx3q7mp3/

Смотреть все →