製品とアプリ

美団LongCat、VitaBench 2.0をオープンソース化:長期動的エージェントベンチマークの新基準

AI 要約

美団LongCatチームはVitaBench 2.0を発表した。実生活シーンにおける長期的な動的ユーザーモデリングに特化した初のエージェント評価ベンチマークである。56名の擬似ユーザー、819の複雑タスク、2000以上の動的嗜好、66の実行可能ツールを含み、各ユーザーの平均インタラクションイベントは2093、平均タイムスパンは1580日。長文コンテキスト学習とエージェント記憶戦略の評価にも対応する。テストでは最強モデルのClaude-Opus-4.6でも「開巻」モードの平均スコアが0.5をわずかに超える程度。思考モードの有効化は個別化タスクの性能を必ずしも向上させず、全モデルが能動的質問を要するタスクでスコアが急落した。VitaBench 2.0はオープンソース化済み。

要点

  • 美団LongCatチームはVitaBench 2.
  • 0を発表した。
  • 実生活シーンにおける長期的な動的ユーザーモデリングに特化した初のエージェント評価ベンチマークである。
  • 56名の擬似ユーザー、819の複雑タスク、2000以上の動的嗜好、66の実行可能ツールを含み、各ユーザーの平均インタラクションイベントは2093、平均タイムスパンは1580日。
  • 長文コンテキスト学習とエージェント記憶戦略の評価にも対応する。

概要

公開日時
更新日時
出典
公众号:龙猫LongCat(美团)
カテゴリ
製品とアプリ
AI スコア
69
原文を読む 情報源で全文を読む
おすすめの理由

美团LongCat开源的VitaBench 2.0是首个评测AI长期理解用户偏好的基准,实验发现最强模型得分也刚过0.5,做Agent和推荐系统的值得跑一遍。

関連エンティティ

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:美団LongCat、VitaBench 2.0をオープンソース化:長期動的エージェントベンチマークの新基準。2026年6月25日。https://new.nat6.net/ja/news/cmquellij03q2sl80f5fm292j/

すべて見る →