Articles et recherche

METR lance RE-Bench : comparaison des capacités de R&D en IA des agents de modèles de langage et des experts humains

Titre original:Evaluating frontier AI R&D capabilities of language model agents against human experts

Résumé IA

METR lance le benchmark RE-Bench, qui évalue les performances d'experts humains et d'agents de modèles de pointe dans 7 environnements d'ingénierie de recherche en ML, et publie les transcriptions complètes de 71 tentatives d'experts humains ainsi que celles de Claude 3.5 Sonnet et o1-preview.

Points clés

  • METR lance le benchmark RE-Bench,qui évalue les performances d'experts humains et d'agents de…
  • et publie les transcriptions complètes de 71 tentatives d'experts humains ainsi que celles de…
  • 5 Sonnet et o1-preview.

En bref

Publié
Mis à jour
Source
METR:Research(网页)
Catégorie
Articles et recherche
Score IA
62
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

原文在同一环境公平对比人类专家与前沿模型智能体,并给出长短时间预算下得分反转的关键数据和完整开源转录。

Entités associées

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : METR lance RE-Bench : comparaison des capacités de R&D en IA des agents de modèles de langage et des experts humains. 22. novembre 2024. https://new.nat6.net/fr/news/cmtyo7nb703vkrog0y9c82c3h/

Tout voir →