論文・研究

EVA-Bench Data 2.0 リリース:3 分野、121 ツール、213 シナリオをカバー

原題:EVA-Bench Data 2.0: 3 Domains, 121 Tools, 213 Scenarios

AI 要約

EVA-Bench Data 2.0 は評価範囲を単一の企業分野から、航空会社の顧客サービス管理(CSM)、企業 IT サービス管理(ITSM)、医療 HR サービス提供(HRSD)の 3 分野に拡大し、計 121 ツール、213 シナリオをカバーする。シナリオ数は元のバージョンから約 4 倍に増加した。各シナリオは OpenAI GPT-5.4、Google Gemini 3.1 Pro、Anthropic Claude Opus 4.6 によって解決可能であることが検証されている。データセットは音声優先、リアリティ、多様性、認証フロー、再現性の 5 つの設計原則に従い、単一意図、複数意図(最大 4 意図)、敵対的コールのタイプを含む。3 つのデータセットはすべてオープンソース化され、`load_dataset` を通じて Hugging Face から直接ダウンロードできる。今後、多言語拡張が予定されている。

要点

  • EVA-Bench Data 2.
  • 0 は評価範囲を単一の企業分野から、航空会社の顧客サービス管理(CSM)、企業 IT サービス管理(ITSM)、医療 HR サービス提供(HRSD)の 3 分野に拡大し、計 121 ツール、213…
  • シナリオ数は元のバージョンから約 4 倍に増加した。
  • 各シナリオは OpenAI GPT-5.
  • 4、Google Gemini 3.

概要

公開日時
更新日時
出典
Hugging Face 社区博客(混合发现)
カテゴリ
論文・研究
AI スコア
65
原文を読む 情報源で全文を読む
おすすめの理由

语音代理评测缺的就是这种真实场景的数据集,EVA-Bench 2.0 把航空、IT、医疗三个最棘手的领域打包了,生成流水线也开源,做评测的可以直接拿来用。

関連エンティティ

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:EVA-Bench Data 2.0 リリース:3 分野、121 ツール、213 シナリオをカバー。2026年6月4日。https://new.nat6.net/ja/news/cmpzhk1rp03k5slkpmx3q7mp3/

すべて見る →