Tutoriels et astuces

Cognition évalue les modèles OpenAI o1 sur l'agent de codage Devin et publie sa méthode d'évaluation

Titre original:A review of OpenAI’s o1 and how we evaluate coding agents

Résumé IA

Cognition publie les premiers résultats de plusieurs semaines de tests d'o1-mini et o1-preview dans Devin : sur le benchmark interne cognition-golden, Devin-Base passe de 25,9 % avec GPT-4o à 34,6 % avec o1-mini et 51,8 % avec o1-preview, la version de production de Devin atteignant 74,2 %.

Points clés

  • Cognition publie les premiers résultats de plusieurs semaines de tests d'o1-mini et o1-preview…
  • Devin-Base passe de 25,9 % avec GPT-4o à 34,6 % avec o1-mini et 51,8 % avec o1-preview
  • la version de production de Devin atteignant 74

En bref

Publié
Mis à jour
Source
Cognition 模型 / Devin 博客(网页)
Catégorie
Tutoriels et astuces
Score IA
60
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

Cognition 作为 Devin 开发方给出 o1 系列的实测对比数据,并完整披露其内部基准 cognition-golden 的评测方法。

Entités associées

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : Cognition évalue les modèles OpenAI o1 sur l'agent de codage Devin et publie sa méthode d'évaluation. 12. septembre 2024. https://new.nat6.net/fr/news/swrpyrobyv7olq6awpfmlqkld/

Tout voir →