Mga Papel at Pananaliksik

Inilabas ang EVA-Bench Data 2.0: sumasaklaw sa tatlong domain, 121 tool, 213 scenario

Orihinal na pamagat:EVA-Bench Data 2.0: 3 Domains, 121 Tools, 213 Scenarios

AI summary

Pinalawak ng EVA-Bench Data 2.0 ang saklaw ng evaluation mula sa iisang enterprise domain patungo sa tatlong domain: airline customer service management (CSM), enterprise IT service management (ITSM) at healthcare HR service delivery (HRSD), na sumasaklaw sa 121 tool at 213 scenario, mga apat na beses ang pagtaas ng scenario kumpara sa orihinal na bersyon. Ang bawat scenario ay na-verify na solvable ng OpenAI GPT-5.4, Google Gemini 3.1 Pro at Anthropic Claude Opus 4.6. Sinusunod ng dataset ang limang design principle: voice-first, authenticity, diversity, authentication flow at reproducibility, at may kasamang single-intent, multi-intent (hanggang 4 na intent) at adversarial call type. Ang lahat ng tatlong dataset ay open source at maaaring direktang i-download mula sa Hugging Face sa pamamagitan ng `load_dataset`. Ilulunsad sa hinaharap ang multilingual expansion.

Mahahalagang impormasyon

  • Pinalawak ng EVA-Bench Data 2.
  • 0 ang saklaw ng evaluation mula sa iisang enterprise domain patungo sa tatlong domain: airline…
  • Ang bawat scenario ay na-verify na solvable ng OpenAI GPT-5.
  • 4,Google Gemini 3.
  • 1 Pro at Anthropic Claude Opus 4.

Mabilisang tingin

Na-publish noong
Na-update noong
Pinagmulan
Hugging Face 社区博客(混合发现)
Kategorya
Mga Papel at Pananaliksik
AI na marka
65
Basahin ang orihinal Basahin ang buong artikulo sa orihinal na pinagmulan
Dahilan ng rekomendasyon

语音代理评测缺的就是这种真实场景的数据集,EVA-Bench 2.0 把航空、IT、医疗三个最棘手的领域打包了,生成流水线也开源,做评测的可以直接拿来用。

Kaugnay na Entity

Pinagmulan at copyright

Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.

Link ng orihinal · Entry sa AIHOT

Paano banggitin

Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.

Orange News: Inilabas ang EVA-Bench Data 2.0: sumasaklaw sa tatlong domain, 121 tool, 213 scenario. 4 Hunyo 2026. https://new.nat6.net/fil/news/cmpzhk1rp03k5slkpmx3q7mp3/

Tingnan lahat →