Opinion

Pourquoi SWE-bench Verified ne mesure plus les capacités de codage de pointe

Résumé IA

OpenAI annonce cesser d'utiliser le benchmark SWE-bench Verified pour évaluer les capacités de codage de pointe. Ce benchmark, construit à partir de problèmes historiques de GitHub, a une distribution de tâches qui ne reflète plus les types de problèmes réels que doivent résoudre les assistants de codage actuels. Avec l'amélioration des modèles, le jeu de test sature et perd en pouvoir discriminant, les performances des modèles existants approchant le niveau humain. L'équipe se tournera donc vers de nouvelles méthodes d'évaluation plus exigeantes et plus proches de la complexité réelle.

Points clés

  • OpenAI annonce cesser d'utiliser le benchmark SWE-bench Verified pour évaluer les capacités de…
  • Ce benchmark,construit à partir de problèmes historiques de GitHub,a une distribution de tâches…
  • Avec l'amélioration des modèles,le jeu de test sature et perd en pouvoir discriminant,les…
  • L'équipe se tournera donc vers de nouvelles méthodes d'évaluation plus exigeantes et plus proches…

En bref

Publié
Mis à jour
Source
OpenAI:官网动态(RSS · 排除企业/客户案例)
Catégorie
Opinion
Score IA
71
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

OpenAI 亲自给 SWE-bench Verified 判了死刑,这比任何第三方评测都有说服力。做 coding agent 选型的人该认真想想,你的 benchmark 体系是不是也该换了。

Entités associées

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : Pourquoi SWE-bench Verified ne mesure plus les capacités de codage de pointe. 27. avril 2026. https://new.nat6.net/fr/news/cmog2im0800vbslr37vxebh5g/

Tout voir →