Meituan LongCat veröffentlicht VitaBench 2.0 als Open Source: neuer Maßstab für langfristig dynamische Agenten-Benchmarks
KI-Zusammenfassung
Das LongCat-Team von Meituan stellt VitaBench 2.0 vor, den ersten Agenten-Evaluierungsbenchmark für langfristig dynamische Nutzermodellierung in realen Alltagsszenarien. Er umfasst 56 simulierte Nutzer, 819 komplexe Aufgaben, über 2000 dynamische Präferenzen und 66 ausführbare Tools; jeder Nutzer hat durchschnittlich 2093 Interaktionsereignisse über einen Zeitraum von durchschnittlich 1580 Tagen. Zudem werden Long-Context-Lernen und die Evaluierung von Agenten-Gedächtnisstrategien unterstützt. Tests zeigen: Das stärkste Modell Claude-Opus-4.6 erreicht im „Open-Book“-Modus im Durchschnitt knapp über 0,5; der Denkmodus verbessert die Leistung bei personalisierten Aufgaben nicht immer; alle Modelle fallen bei Aufgaben, die aktives Nachfragen erfordern, abrupt ab. VitaBench 2.0 ist als Open Source verfügbar.
Kernpunkte
- Das LongCat-Team von Meituan stellt VitaBench 2.
- 0 vor,den ersten Agenten-Evaluierungsbenchmark für langfristig dynamische Nutzermodellierung in…
- Er umfasst 56 simulierte Nutzer,819 komplexe Aufgaben,über 2000 dynamische Präferenzen und 66…
- jeder Nutzer hat durchschnittlich 2093 Interaktionsereignisse über einen Zeitraum von…
- Zudem werden Long-Context-Lernen und die Evaluierung von Agenten-Gedächtnisstrategien unterstützt.
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- 公众号:龙猫LongCat(美团)
- Kategorie
- Produkte & Apps
- KI-Bewertung
- 69
美团LongCat开源的VitaBench 2.0是首个评测AI长期理解用户偏好的基准,实验发现最强模型得分也刚过0.5,做Agent和推荐系统的值得跑一遍。
Verwandte Entitäten
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: Meituan LongCat veröffentlicht VitaBench 2.0 als Open Source: neuer Maßstab für langfristig dynamische Agenten-Benchmarks. 25. Juni 2026. https://new.nat6.net/de/news/cmquellij03q2sl80f5fm292j/