Продукты и приложения

Meituan LongCat открывает исходный код VitaBench 2.0: новый эталон для бенчмарка долгосрочных динамических агентов

ИИ-резюме

Команда Meituan LongCat представила VitaBench 2.0 — первый бенчмарк оценки агентов для моделирования долгосрочных динамических пользователей в реальных жизненных сценариях. Он включает 56 реалистичных пользователей, 819 сложных задач, более 2000 динамических предпочтений и 66 исполняемых инструментов; в среднем на каждого пользователя приходится 2093 события взаимодействия, а временной охват составляет в среднем 1580 дней. Поддерживается оценка обучения на длинном контексте и стратегий памяти агентов. Тесты показывают, что сильнейшая модель Claude-Opus-4.6 в режиме «с открытой книгой» набирает в среднем чуть больше 0.5; включение режима размышления не всегда улучшает результаты в персонализированных задачах; все модели резко падают в задачах, требующих активных вопросов. VitaBench 2.0 открыт.

Ключевые моменты

  • Команда Meituan LongCat представила VitaBench 2.
  • 0 — первый бенчмарк оценки агентов для моделирования долгосрочных динамических пользователей в…
  • Он включает 56 реалистичных пользователей,819 сложных задач,более 2000 динамических предпочтений и…
  • в среднем на каждого пользователя приходится 2093 события взаимодействия,а временной охват…
  • Поддерживается оценка обучения на длинном контексте и стратегий памяти агентов.

Кратко

Опубликовано
Обновлено
Источник
公众号:龙猫LongCat(美团)
Категория
Продукты и приложения
Оценка ИИ
69
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

美团LongCat开源的VitaBench 2.0是首个评测AI长期理解用户偏好的基准,实验发现最强模型得分也刚过0.5,做Agent和推荐系统的值得跑一遍。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Meituan LongCat открывает исходный код VitaBench 2.0: новый эталон для бенчмарка долгосрочных динамических агентов. 25 июня 2026. https://new.nat6.net/ru/news/cmquellij03q2sl80f5fm292j/

Смотреть все →