Produits et applications

Meituan LongCat open source VitaBench 2.0 : nouvelle référence pour l'évaluation des agents dynamiques à long terme

Résumé IA

L'équipe LongCat de Meituan lance VitaBench 2.0, le premier benchmark d'évaluation d'agents portant sur la modélisation d'utilisateurs dynamiques à long terme dans des scénarios de vie réelle. Il comprend 56 utilisateurs simulés, 819 tâches complexes, plus de 2000 préférences dynamiques et 66 outils exécutables, avec en moyenne 2093 événements d'interaction par utilisateur sur une période moyenne de 1580 jours. Il prend également en charge l'évaluation de l'apprentissage en contexte long et des stratégies de mémoire des agents. Les tests montrent que le modèle le plus performant, Claude-Opus-4.6, dépasse à peine 0,5 en mode « livre ouvert » ; l'activation du mode réflexion n'améliore pas toujours les performances sur les tâches personnalisées ; tous les modèles chutent brutalement sur les tâches nécessitant des questions proactives. VitaBench 2.0 est open source.

Points clés

  • L'équipe LongCat de Meituan lance VitaBench 2.
  • 0,le premier benchmark d'évaluation d'agents portant sur la modélisation d'utilisateurs dynamiques…
  • Il comprend 56 utilisateurs simulés,819 tâches complexes,plus de 2000 préférences dynamiques et 66…
  • Il prend également en charge l'évaluation de l'apprentissage en contexte long et des stratégies de…
  • Les tests montrent que le modèle le plus performant,Claude-Opus-4.

En bref

Publié
Mis à jour
Source
公众号:龙猫LongCat(美团)
Catégorie
Produits et applications
Score IA
69
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

美团LongCat开源的VitaBench 2.0是首个评测AI长期理解用户偏好的基准,实验发现最强模型得分也刚过0.5,做Agent和推荐系统的值得跑一遍。

Entités associées

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : Meituan LongCat open source VitaBench 2.0 : nouvelle référence pour l'évaluation des agents dynamiques à long terme. 25. juin 2026. https://new.nat6.net/fr/news/cmquellij03q2sl80f5fm292j/

Tout voir →