Meituan LongCat открывает исходный код VitaBench 2.0: новый эталон для бенчмарка долгосрочных динамических агентов
ИИ-резюме
Команда Meituan LongCat представила VitaBench 2.0 — первый бенчмарк оценки агентов для моделирования долгосрочных динамических пользователей в реальных жизненных сценариях. Он включает 56 реалистичных пользователей, 819 сложных задач, более 2000 динамических предпочтений и 66 исполняемых инструментов; в среднем на каждого пользователя приходится 2093 события взаимодействия, а временной охват составляет в среднем 1580 дней. Поддерживается оценка обучения на длинном контексте и стратегий памяти агентов. Тесты показывают, что сильнейшая модель Claude-Opus-4.6 в режиме «с открытой книгой» набирает в среднем чуть больше 0.5; включение режима размышления не всегда улучшает результаты в персонализированных задачах; все модели резко падают в задачах, требующих активных вопросов. VitaBench 2.0 открыт.
Ключевые моменты
- Команда Meituan LongCat представила VitaBench 2.
- 0 — первый бенчмарк оценки агентов для моделирования долгосрочных динамических пользователей в…
- Он включает 56 реалистичных пользователей,819 сложных задач,более 2000 динамических предпочтений и…
- в среднем на каждого пользователя приходится 2093 события взаимодействия,а временной охват…
- Поддерживается оценка обучения на длинном контексте и стратегий памяти агентов.
Кратко
- Опубликовано
- Обновлено
- Источник
- 公众号:龙猫LongCat(美团)
- Категория
- Продукты и приложения
- Оценка ИИ
- 69
美团LongCat开源的VitaBench 2.0是首个评测AI长期理解用户偏好的基准,实验发现最强模型得分也刚过0.5,做Agent和推荐系统的值得跑一遍。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Meituan LongCat открывает исходный код VitaBench 2.0: новый эталон для бенчмарка долгосрочных динамических агентов. 25 июня 2026. https://new.nat6.net/ru/news/cmquellij03q2sl80f5fm292j/