Papers & Forschung

EVA-Bench Data 2.0 veröffentlicht: drei Domänen, 121 Tools, 213 Szenarien

Originaltitel:EVA-Bench Data 2.0: 3 Domains, 121 Tools, 213 Scenarios

KI-Zusammenfassung

EVA-Bench Data 2.0 erweitert den Evaluationsbereich von einer einzelnen Unternehmensdomäne auf drei Domänen: Kundenservice-Management von Fluggesellschaften (CSM), IT-Service-Management von Unternehmen (ITSM) und HR-Servicebereitstellung im Gesundheitswesen (HRSD). Insgesamt umfasst es 121 Tools und 213 Szenarien, etwa viermal so viele wie die ursprüngliche Version. Die Lösbarkeit jedes Szenarios wurde mit OpenAI GPT-5.4, Google Gemini 3.1 Pro und Anthropic Claude Opus 4.6 verifiziert. Der Datensatz folgt fünf Designprinzipien: Voice-First, Realitätsnähe, Vielfalt, Authentifizierungsabläufe und Reproduzierbarkeit; er enthält Single-Intent-, Multi-Intent- (bis zu 4 Intents) und adversariale Anruftypen. Alle drei Datensätze sind Open Source und lassen sich über `load_dataset` direkt von Hugging Face herunterladen. Eine mehrsprachige Erweiterung soll folgen.

Kernpunkte

  • EVA-Bench Data 2.
  • 0 erweitert den Evaluationsbereich von einer einzelnen Unternehmensdomäne auf drei Domänen:…
  • Insgesamt umfasst es 121 Tools und 213 Szenarien,etwa viermal so viele wie die ursprüngliche…
  • Die Lösbarkeit jedes Szenarios wurde mit OpenAI GPT-5.
  • 4,Google Gemini 3.

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
Hugging Face 社区博客(混合发现)
Kategorie
Papers & Forschung
KI-Bewertung
65
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

语音代理评测缺的就是这种真实场景的数据集,EVA-Bench 2.0 把航空、IT、医疗三个最棘手的领域打包了,生成流水线也开源,做评测的可以直接拿来用。

Verwandte Entitäten

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: EVA-Bench Data 2.0 veröffentlicht: drei Domänen, 121 Tools, 213 Szenarien. 4. Juni 2026. https://new.nat6.net/de/news/cmpzhk1rp03k5slkpmx3q7mp3/

Alle ansehen →