Interférences d'infrastructure dans l'évaluation du codage par agents quantitatifs
Titre original:Quantifying infrastructure noise in agentic coding evals
Résumé IA
Une étude révèle que, dans les benchmarks de codage par agents tels que SWE-bench, les différences de configuration d'infrastructure peuvent avoir un impact sur les scores des modèles supérieur aux écarts minimes entre les meilleurs modèles du classement. Des expériences internes montrent que, sur Terminal-Bench 2.0, l'écart de taux de réussite entre les paramètres de ressources les plus stricts et les plus permissifs atteint 6 %. Des restrictions strictes entraînent l'échec de près de 6 % des tâches en raison de l'arrêt inattendu des conteneurs, tandis que ce taux d'erreur peut descendre à 0,5 % avec une configuration permissive. Lorsque la marge de ressources dépasse 3 fois les spécifications du benchmark, les agents peuvent même réussir des tâches auparavant insolubles grâce aux ressources supplémentaires. Cela indique que l'environnement d'évaluation influence non seulement la stabilité des tests, mais modifie aussi les dimensions de capacité réellement mesurées par le benchmark.
Points clés
- Une étude révèle que,dans les benchmarks de codage par agents tels que SWE-bench,les différences…
- Des expériences internes montrent que,sur Terminal-Bench 2.
- 0,l'écart de taux de réussite entre les paramètres de ressources les plus stricts et les plus…
- Des restrictions strictes entraînent l'échec de près de 6 % des tâches en raison de l'arrêt…
- Lorsque la marge de ressources dépasse 3 fois les spécifications du benchmark,les agents peuvent…
En bref
- Publié
- Mis à jour
- Catégorie
- Articles et recherche
- Score IA
- 74
Anthropic 用自家数据证明,agentic coding benchmark 的排行榜差距可能只是硬件配置差异而非模型能力差距,3 个百分点以内的领先都该打问号。做模型选型的人别再迷信那几个百分点了。
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : Interférences d'infrastructure dans l'évaluation du codage par agents quantitatifs. 5. février 2026. https://new.nat6.net/fr/news/cmorb7ml0008bslhfiqfwufv7/