Cognition publie le rapport technique de Devin sur SWE-bench
Titre original:SWE-bench technical report
Résumé IA
Cognition publie un rapport technique sur les performances de Devin sur SWE-bench : sur 570 tests tirés au hasard, Devin a résolu 79 problèmes, soit un taux de réussite de 13,86 %, supérieur aux 4,80 % de la meilleure baseline assistée précédente, Claude 2, et aux 1,96 % de la baseline sans assistance.
Points clés
- Cognition publie un rapport technique sur les performances de Devin sur SWE-bench: sur 570 tests…
- Devin a résolu 79 problèmes,soit un taux de réussite de 13
- supérieur aux 4,80 % de la meilleure baseline assistée précédente,Claude 2,et aux 1,96 % de la…
En bref
- Publié
- Mis à jour
- Source
- Cognition 模型 / Devin 博客(网页)
- Catégorie
- Articles et recherche
- Score IA
- 68
Cognition 公开了评测方法和 Devin 的代码编辑结果,读者可以对照复现并理解智能体在真实仓库上解题的边界。
Entités associées
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : Cognition publie le rapport technique de Devin sur SWE-bench. 15. mars 2024. https://new.nat6.net/fr/news/s3ow9hpx0t1eg58icse78hr4f/