METR lance RE-Bench : comparaison des capacités de R&D en IA des agents de modèles de langage et des experts humains
Titre original:Evaluating frontier AI R&D capabilities of language model agents against human experts
Résumé IA
METR lance le benchmark RE-Bench, qui évalue les performances d'experts humains et d'agents de modèles de pointe dans 7 environnements d'ingénierie de recherche en ML, et publie les transcriptions complètes de 71 tentatives d'experts humains ainsi que celles de Claude 3.5 Sonnet et o1-preview.
Points clés
- METR lance le benchmark RE-Bench,qui évalue les performances d'experts humains et d'agents de…
- et publie les transcriptions complètes de 71 tentatives d'experts humains ainsi que celles de…
- 5 Sonnet et o1-preview.
En bref
- Publié
- Mis à jour
- Source
- METR:Research(网页)
- Catégorie
- Articles et recherche
- Score IA
- 62
原文在同一环境公平对比人类专家与前沿模型智能体,并给出长短时间预算下得分反转的关键数据和完整开源转录。
Entités associées
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : METR lance RE-Bench : comparaison des capacités de R&D en IA des agents de modèles de langage et des experts humains. 22. novembre 2024. https://new.nat6.net/fr/news/cmtyo7nb703vkrog0y9c82c3h/