Answer.AI teste Devin : 3 réussites sur 20 tâches, des doutes sur l'autonomie en programmation
Titre original:Thoughts On A Month With Devin
Résumé IA
L'équipe d'Answer.AI a mené un mois de tests approfondis sur Devin, l'ingénieur logiciel IA. Malgré des résultats corrects sur des tâches simples comme l'intégration d'API, les résultats sur 20 tâches réelles, dont la création de nouveaux projets, la recherche et la modification de code, sont décevants : seulement 3 réussites, 14 échecs, sans possibilité de prédire le succès. Devin se retrouve souvent dans des impasses techniques, génère du code spaghetti excessivement complexe, ou hallucine face à des tâches irréalisables en perdant beaucoup de temps. L'article conclut que ses performances réelles sont bien inférieures aux promesses et qu'il ne peut remplacer les développeurs humains.
Points clés
- L'équipe d'Answer.
- AI a mené un mois de tests approfondis sur Devin,l'ingénieur logiciel IA.
- Malgré des résultats corrects sur des tâches simples comme l'intégration d'API,les résultats sur…
- Devin se retrouve souvent dans des impasses techniques,génère du code spaghetti excessivement…
- L'article conclut que ses performances réelles sont bien inférieures aux promesses et qu'il ne…
En bref
- Publié
- Mis à jour
- Source
- Answer.AI 官方研发博客(RSS)
- Catégorie
- Opinion
- Score IA
- 78
来自知名 AI 评测机构的详实一手数据,揭示了明星产品 Devin 在真实工作流中的局限性,为评估当前自主编程 Agent 的实际成熟度提供了重要参考。
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : Answer.AI teste Devin : 3 réussites sur 20 tâches, des doutes sur l'autonomie en programmation. 8. janvier 2025. https://new.nat6.net/fr/news/yu0x1iq7drpkrq8fsc6ydk4cb/