EVA-Bench Data 2.0 veröffentlicht: drei Domänen, 121 Tools, 213 Szenarien
Originaltitel:EVA-Bench Data 2.0: 3 Domains, 121 Tools, 213 Scenarios
KI-Zusammenfassung
EVA-Bench Data 2.0 erweitert den Evaluationsbereich von einer einzelnen Unternehmensdomäne auf drei Domänen: Kundenservice-Management von Fluggesellschaften (CSM), IT-Service-Management von Unternehmen (ITSM) und HR-Servicebereitstellung im Gesundheitswesen (HRSD). Insgesamt umfasst es 121 Tools und 213 Szenarien, etwa viermal so viele wie die ursprüngliche Version. Die Lösbarkeit jedes Szenarios wurde mit OpenAI GPT-5.4, Google Gemini 3.1 Pro und Anthropic Claude Opus 4.6 verifiziert. Der Datensatz folgt fünf Designprinzipien: Voice-First, Realitätsnähe, Vielfalt, Authentifizierungsabläufe und Reproduzierbarkeit; er enthält Single-Intent-, Multi-Intent- (bis zu 4 Intents) und adversariale Anruftypen. Alle drei Datensätze sind Open Source und lassen sich über `load_dataset` direkt von Hugging Face herunterladen. Eine mehrsprachige Erweiterung soll folgen.
Kernpunkte
- EVA-Bench Data 2.
- 0 erweitert den Evaluationsbereich von einer einzelnen Unternehmensdomäne auf drei Domänen:…
- Insgesamt umfasst es 121 Tools und 213 Szenarien,etwa viermal so viele wie die ursprüngliche…
- Die Lösbarkeit jedes Szenarios wurde mit OpenAI GPT-5.
- 4,Google Gemini 3.
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- Hugging Face 社区博客(混合发现)
- Kategorie
- Papers & Forschung
- KI-Bewertung
- 65
语音代理评测缺的就是这种真实场景的数据集,EVA-Bench 2.0 把航空、IT、医疗三个最棘手的领域打包了,生成流水线也开源,做评测的可以直接拿来用。
Verwandte Entitäten
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: EVA-Bench Data 2.0 veröffentlicht: drei Domänen, 121 Tools, 213 Szenarien. 4. Juni 2026. https://new.nat6.net/de/news/cmpzhk1rp03k5slkpmx3q7mp3/