Meituan LongCat lanza VitaBench 2.0 de código abierto: nuevo referente para benchmarks de agentes dinámicos de largo plazo
Resumen de IA
El equipo LongCat de Meituan presenta VitaBench 2.0, el primer benchmark de evaluación de agentes centrado en el modelado de usuarios dinámicos de largo plazo en escenarios de la vida real. Incluye 56 usuarios simulados, 819 tareas complejas, más de 2000 preferencias dinámicas y 66 herramientas ejecutables, con una media de 2093 eventos de interacción por usuario y un intervalo temporal medio de 1580 días. También admite evaluación de aprendizaje en contexto de textos largos y de estrategias de memoria de agentes. Las pruebas muestran que el modelo más potente, Claude-Opus-4.6, apenas supera 0.5 de media en modo “a libro abierto”; activar el modo de pensamiento no siempre mejora el rendimiento en tareas personalizadas; y todos los modelos caen en picado en tareas que requieren preguntar activamente. VitaBench 2.0 ya está disponible en código abierto.
Puntos clave
- El equipo LongCat de Meituan presenta VitaBench 2.
- 0,el primer benchmark de evaluación de agentes centrado en el modelado de usuarios dinámicos de…
- Incluye 56 usuarios simulados,819 tareas complejas,más de 2000 preferencias dinámicas y 66…
- También admite evaluación de aprendizaje en contexto de textos largos y de estrategias de memoria…
- Las pruebas muestran que el modelo más potente,Claude-Opus-4.
Resumen rápido
- Publicado
- Actualizado
- Fuente
- 公众号:龙猫LongCat(美团)
- Categoría
- Productos y aplicaciones
- Puntuación IA
- 69
美团LongCat开源的VitaBench 2.0是首个评测AI长期理解用户偏好的基准,实验发现最强模型得分也刚过0.5,做Agent和推荐系统的值得跑一遍。
Entidades relacionadas
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: Meituan LongCat lanza VitaBench 2.0 de código abierto: nuevo referente para benchmarks de agentes dinámicos de largo plazo. 25. junio 2026. https://new.nat6.net/es/news/cmquellij03q2sl80f5fm292j/