Berkeley RDI publica el benchmark Agents' Last Exam
Título original:Agents' Last Exam
Resumen de IA
En junio de 2026, Berkeley RDI publicó el benchmark Agents' Last Exam (ALE), con más de 1.500 tareas procedentes de trabajos reales y que abarcan 55 ocupaciones no manuales. Las evaluaciones de agentes de vanguardia como Fable 5, GPT-5.5 y Composer 2.5 muestran una tasa de éxito del 0 % en el nivel más difícil; el rendimiento global es similar, pero el coste por tarea varía enormemente (Fable 5, unos 15,70 $; GPT-5.5, unos 3,80 $; Composer 2.5, unos 1,33 $). El mejor índice de aprobación del subconjunto CLI ALE-CLI es solo del 25,2 %. El principal modo de fallo es que el agente declara haber terminado sin verificar la salida. El conjunto de datos, el código y el subconjunto CLI se han publicado en código abierto.
Puntos clave
- En junio de 2026,Berkeley RDI publicó el benchmark Agents' Last Exam (ALE),con más de 1.
- 500 tareas procedentes de trabajos reales y que abarcan 55 ocupaciones no manuales.
- Las evaluaciones de agentes de vanguardia como Fable 5,GPT-5.
- 5 y Composer 2.
- 5 muestran una tasa de éxito del 0 % en el nivel más difícil
Resumen rápido
- Publicado
- Actualizado
- Fuente
- Berkeley RDI:Blog(AI 安全与评测)
- Categoría
- Artículos e investigación
- Puntuación IA
- 83
在Fable 5发布后,Berkeley的ALE基准首次大规模量化了agent在专业任务上的真实水平,最难任务0%成功率的结果值得所有押注agent落地的团队冷静下来。
Fuente y derechos
Este artículo se basa en títulos seleccionados y resúmenes de IA de la API pública de AIHOT, con atribución y enlaces de vuelta. Los derechos del original pertenecen a los medios y autores originales; este sitio no reproduce textos completos.
Cómo citar
Al citar este artículo, conserva el título, la fecha y el enlace permanente, e indica que la fuente es Orange News.
Orange News: Berkeley RDI publica el benchmark Agents' Last Exam. 15. junio 2026. https://new.nat6.net/es/news/cmqfzukav0264slspmybg065u/