Выпущен EVA-Bench Data 2.0: три предметные области, 121 инструмент, 213 сценариев
Оригинальный заголовок:EVA-Bench Data 2.0: 3 Domains, 121 Tools, 213 Scenarios
ИИ-резюме
EVA-Bench Data 2.0 расширяет оценку с одной корпоративной области до трёх: управление обслуживанием клиентов авиакомпании (CSM), управление ИТ-услугами предприятия (ITSM) и предоставление HR-услуг в здравоохранении (HRSD), охватывая 121 инструмент и 213 сценариев — примерно в 4 раза больше, чем в исходной версии. Разрешимость каждого сценария проверена с помощью OpenAI GPT-5.4, Google Gemini 3.1 Pro и Anthropic Claude Opus 4.6. Набор данных следует пяти принципам проектирования: приоритет голоса, реалистичность, разнообразие, процедуры аутентификации и воспроизводимость; он включает одноинтентные, многоинтентные (до 4 интентов) и состязательные типы звонков. Все три набора данных открыты и доступны для прямой загрузки с Hugging Face через `load_dataset`. В дальнейшем планируется многоязычное расширение.
Ключевые моменты
- EVA-Bench Data 2.
- 0 расширяет оценку с одной корпоративной области до трёх: управление обслуживанием клиентов…
- Разрешимость каждого сценария проверена с помощью OpenAI GPT-5.
- 4,Google Gemini 3.
- 1 Pro и Anthropic Claude Opus 4.
Кратко
- Опубликовано
- Обновлено
- Источник
- Hugging Face 社区博客(混合发现)
- Категория
- Статьи и исследования
- Оценка ИИ
- 65
语音代理评测缺的就是这种真实场景的数据集,EVA-Bench 2.0 把航空、IT、医疗三个最棘手的领域打包了,生成流水线也开源,做评测的可以直接拿来用。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Выпущен EVA-Bench Data 2.0: три предметные области, 121 инструмент, 213 сценариев. 4 июня 2026. https://new.nat6.net/ru/news/cmpzhk1rp03k5slkpmx3q7mp3/