Berkeley RDI publie le benchmark Agents' Last Exam
Titre original:Agents' Last Exam
Résumé IA
En juin 2026, Berkeley RDI a publié le benchmark Agents' Last Exam (ALE), comprenant plus de 1 500 tâches issues de travaux réels et couvrant 55 métiers non manuels. L'évaluation d'agents de pointe comme Fable 5, GPT-5.5 et Composer 2.5 montre un taux de réussite de 0 % au niveau le plus difficile ; les performances globales sont proches, mais le coût par tâche varie fortement (environ 15,70 $ pour Fable 5, 3,80 $ pour GPT-5.5, 1,33 $ pour Composer 2.5). Le meilleur taux de réussite du sous-ensemble CLI ALE-CLI n'est que de 25,2 %. Le principal mode d'échec est que l'agent déclare avoir terminé sans vérifier sa sortie. Le jeu de données, le code et le sous-ensemble CLI sont open source.
Points clés
- En juin 2026,Berkeley RDI a publié le benchmark Agents' Last Exam (ALE),comprenant plus de 1 500…
- L'évaluation d'agents de pointe comme Fable 5,GPT-5.
- 5 et Composer 2.
- 5 montre un taux de réussite de 0 % au niveau le plus difficile
- les performances globales sont proches,mais le coût par tâche varie fortement (environ 15,70 $…
En bref
- Publié
- Mis à jour
- Source
- Berkeley RDI:Blog(AI 安全与评测)
- Catégorie
- Articles et recherche
- Score IA
- 83
在Fable 5发布后,Berkeley的ALE基准首次大规模量化了agent在专业任务上的真实水平,最难任务0%成功率的结果值得所有押注agent落地的团队冷静下来。
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : Berkeley RDI publie le benchmark Agents' Last Exam. 15. juin 2026. https://new.nat6.net/fr/news/cmqfzukav0264slspmybg065u/