Produkte & Apps

Meituan LongCat veröffentlicht VitaBench 2.0 als Open Source: neuer Maßstab für langfristig dynamische Agenten-Benchmarks

KI-Zusammenfassung

Das LongCat-Team von Meituan stellt VitaBench 2.0 vor, den ersten Agenten-Evaluierungsbenchmark für langfristig dynamische Nutzermodellierung in realen Alltagsszenarien. Er umfasst 56 simulierte Nutzer, 819 komplexe Aufgaben, über 2000 dynamische Präferenzen und 66 ausführbare Tools; jeder Nutzer hat durchschnittlich 2093 Interaktionsereignisse über einen Zeitraum von durchschnittlich 1580 Tagen. Zudem werden Long-Context-Lernen und die Evaluierung von Agenten-Gedächtnisstrategien unterstützt. Tests zeigen: Das stärkste Modell Claude-Opus-4.6 erreicht im „Open-Book“-Modus im Durchschnitt knapp über 0,5; der Denkmodus verbessert die Leistung bei personalisierten Aufgaben nicht immer; alle Modelle fallen bei Aufgaben, die aktives Nachfragen erfordern, abrupt ab. VitaBench 2.0 ist als Open Source verfügbar.

Kernpunkte

  • Das LongCat-Team von Meituan stellt VitaBench 2.
  • 0 vor,den ersten Agenten-Evaluierungsbenchmark für langfristig dynamische Nutzermodellierung in…
  • Er umfasst 56 simulierte Nutzer,819 komplexe Aufgaben,über 2000 dynamische Präferenzen und 66…
  • jeder Nutzer hat durchschnittlich 2093 Interaktionsereignisse über einen Zeitraum von…
  • Zudem werden Long-Context-Lernen und die Evaluierung von Agenten-Gedächtnisstrategien unterstützt.

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
公众号:龙猫LongCat(美团)
Kategorie
Produkte & Apps
KI-Bewertung
69
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

美团LongCat开源的VitaBench 2.0是首个评测AI长期理解用户偏好的基准,实验发现最强模型得分也刚过0.5,做Agent和推荐系统的值得跑一遍。

Verwandte Entitäten

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: Meituan LongCat veröffentlicht VitaBench 2.0 als Open Source: neuer Maßstab für langfristig dynamische Agenten-Benchmarks. 25. Juni 2026. https://new.nat6.net/de/news/cmquellij03q2sl80f5fm292j/

Alle ansehen →