美団LongCat、VitaBench 2.0をオープンソース化:長期動的エージェントベンチマークの新基準
AI 要約
美団LongCatチームはVitaBench 2.0を発表した。実生活シーンにおける長期的な動的ユーザーモデリングに特化した初のエージェント評価ベンチマークである。56名の擬似ユーザー、819の複雑タスク、2000以上の動的嗜好、66の実行可能ツールを含み、各ユーザーの平均インタラクションイベントは2093、平均タイムスパンは1580日。長文コンテキスト学習とエージェント記憶戦略の評価にも対応する。テストでは最強モデルのClaude-Opus-4.6でも「開巻」モードの平均スコアが0.5をわずかに超える程度。思考モードの有効化は個別化タスクの性能を必ずしも向上させず、全モデルが能動的質問を要するタスクでスコアが急落した。VitaBench 2.0はオープンソース化済み。
要点
- 美団LongCatチームはVitaBench 2.
- 0を発表した。
- 実生活シーンにおける長期的な動的ユーザーモデリングに特化した初のエージェント評価ベンチマークである。
- 56名の擬似ユーザー、819の複雑タスク、2000以上の動的嗜好、66の実行可能ツールを含み、各ユーザーの平均インタラクションイベントは2093、平均タイムスパンは1580日。
- 長文コンテキスト学習とエージェント記憶戦略の評価にも対応する。
概要
- 公開日時
- 更新日時
- カテゴリ
- 製品とアプリ
- AI スコア
- 69
おすすめの理由
美团LongCat开源的VitaBench 2.0是首个评测AI长期理解用户偏好的基准,实验发现最强模型得分也刚过0.5,做Agent和推荐系统的值得跑一遍。
関連エンティティ
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:美団LongCat、VitaBench 2.0をオープンソース化:長期動的エージェントベンチマークの新基準。2026年6月25日。https://new.nat6.net/ja/news/cmquellij03q2sl80f5fm292j/