Articles et recherche

Cognition publie le rapport technique de Devin sur SWE-bench

Titre original:SWE-bench technical report

Résumé IA

Cognition publie un rapport technique sur les performances de Devin sur SWE-bench : sur 570 tests tirés au hasard, Devin a résolu 79 problèmes, soit un taux de réussite de 13,86 %, supérieur aux 4,80 % de la meilleure baseline assistée précédente, Claude 2, et aux 1,96 % de la baseline sans assistance.

Points clés

  • Cognition publie un rapport technique sur les performances de Devin sur SWE-bench: sur 570 tests…
  • Devin a résolu 79 problèmes,soit un taux de réussite de 13
  • supérieur aux 4,80 % de la meilleure baseline assistée précédente,Claude 2,et aux 1,96 % de la…

En bref

Publié
Mis à jour
Source
Cognition 模型 / Devin 博客(网页)
Catégorie
Articles et recherche
Score IA
68
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

Cognition 公开了评测方法和 Devin 的代码编辑结果,读者可以对照复现并理解智能体在真实仓库上解题的边界。

Entités associées

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : Cognition publie le rapport technique de Devin sur SWE-bench. 15. mars 2024. https://new.nat6.net/fr/news/s3ow9hpx0t1eg58icse78hr4f/

Tout voir →