Cognition évalue les modèles OpenAI o1 sur l'agent de codage Devin et publie sa méthode d'évaluation
Titre original:A review of OpenAI’s o1 and how we evaluate coding agents
Résumé IA
Cognition publie les premiers résultats de plusieurs semaines de tests d'o1-mini et o1-preview dans Devin : sur le benchmark interne cognition-golden, Devin-Base passe de 25,9 % avec GPT-4o à 34,6 % avec o1-mini et 51,8 % avec o1-preview, la version de production de Devin atteignant 74,2 %.
Points clés
- Cognition publie les premiers résultats de plusieurs semaines de tests d'o1-mini et o1-preview…
- Devin-Base passe de 25,9 % avec GPT-4o à 34,6 % avec o1-mini et 51,8 % avec o1-preview
- la version de production de Devin atteignant 74
En bref
- Publié
- Mis à jour
- Source
- Cognition 模型 / Devin 博客(网页)
- Catégorie
- Tutoriels et astuces
- Score IA
- 60
Cognition 作为 Devin 开发方给出 o1 系列的实测对比数据,并完整披露其内部基准 cognition-golden 的评测方法。
Entités associées
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : Cognition évalue les modèles OpenAI o1 sur l'agent de codage Devin et publie sa méthode d'évaluation. 12. septembre 2024. https://new.nat6.net/fr/news/swrpyrobyv7olq6awpfmlqkld/