EVA-Bench Data 2.0 リリース:3 分野、121 ツール、213 シナリオをカバー
原題:EVA-Bench Data 2.0: 3 Domains, 121 Tools, 213 Scenarios
AI 要約
EVA-Bench Data 2.0 は評価範囲を単一の企業分野から、航空会社の顧客サービス管理(CSM)、企業 IT サービス管理(ITSM)、医療 HR サービス提供(HRSD)の 3 分野に拡大し、計 121 ツール、213 シナリオをカバーする。シナリオ数は元のバージョンから約 4 倍に増加した。各シナリオは OpenAI GPT-5.4、Google Gemini 3.1 Pro、Anthropic Claude Opus 4.6 によって解決可能であることが検証されている。データセットは音声優先、リアリティ、多様性、認証フロー、再現性の 5 つの設計原則に従い、単一意図、複数意図(最大 4 意図)、敵対的コールのタイプを含む。3 つのデータセットはすべてオープンソース化され、`load_dataset` を通じて Hugging Face から直接ダウンロードできる。今後、多言語拡張が予定されている。
要点
- EVA-Bench Data 2.
- 0 は評価範囲を単一の企業分野から、航空会社の顧客サービス管理(CSM)、企業 IT サービス管理(ITSM)、医療 HR サービス提供(HRSD)の 3 分野に拡大し、計 121 ツール、213…
- シナリオ数は元のバージョンから約 4 倍に増加した。
- 各シナリオは OpenAI GPT-5.
- 4、Google Gemini 3.
概要
- 公開日時
- 更新日時
- カテゴリ
- 論文・研究
- AI スコア
- 65
语音代理评测缺的就是这种真实场景的数据集,EVA-Bench 2.0 把航空、IT、医疗三个最棘手的领域打包了,生成流水线也开源,做评测的可以直接拿来用。
関連エンティティ
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:EVA-Bench Data 2.0 リリース:3 分野、121 ツール、213 シナリオをカバー。2026年6月4日。https://new.nat6.net/ja/news/cmpzhk1rp03k5slkpmx3q7mp3/