Pourquoi SWE-bench Verified ne mesure plus les capacités de codage de pointe
Résumé IA
OpenAI annonce cesser d'utiliser le benchmark SWE-bench Verified pour évaluer les capacités de codage de pointe. Ce benchmark, construit à partir de problèmes historiques de GitHub, a une distribution de tâches qui ne reflète plus les types de problèmes réels que doivent résoudre les assistants de codage actuels. Avec l'amélioration des modèles, le jeu de test sature et perd en pouvoir discriminant, les performances des modèles existants approchant le niveau humain. L'équipe se tournera donc vers de nouvelles méthodes d'évaluation plus exigeantes et plus proches de la complexité réelle.
Points clés
- OpenAI annonce cesser d'utiliser le benchmark SWE-bench Verified pour évaluer les capacités de…
- Ce benchmark,construit à partir de problèmes historiques de GitHub,a une distribution de tâches…
- Avec l'amélioration des modèles,le jeu de test sature et perd en pouvoir discriminant,les…
- L'équipe se tournera donc vers de nouvelles méthodes d'évaluation plus exigeantes et plus proches…
En bref
- Publié
- Mis à jour
- Source
- OpenAI:官网动态(RSS · 排除企业/客户案例)
- Catégorie
- Opinion
- Score IA
- 71
OpenAI 亲自给 SWE-bench Verified 判了死刑,这比任何第三方评测都有说服力。做 coding agent 选型的人该认真想想,你的 benchmark 体系是不是也该换了。
Entités associées
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : Pourquoi SWE-bench Verified ne mesure plus les capacités de codage de pointe. 27. avril 2026. https://new.nat6.net/fr/news/cmog2im0800vbslr37vxebh5g/