Claude 3.5 Sonnet établit un nouveau record sur le benchmark SWE-bench Verified
Titre original:Raising the bar on SWE-bench Verified with Claude 3.5 Sonnet
Résumé IA
La version mise à jour de Claude 3.5 Sonnet atteint un taux de résolution de 49 % sur le benchmark d'évaluation en ingénierie logicielle SWE-bench Verified, dépassant les 45 % du meilleur modèle précédent. Ce benchmark teste la capacité des modèles IA à accomplir des tâches d'ingénierie logicielle via de véritables problèmes GitHub, exigeant que le modèle comprenne, modifie et teste le code dans un environnement donné, puis valide le résultat par les tests unitaires d'origine. L'agent conçu par l'équipe Claude est simple, comprenant uniquement des prompts, un outil Bash et un outil d'édition, laissant au modèle une large autonomie de jugement pour résoudre les problèmes en étapes flexibles. Aucun modèle n'a encore dépassé un taux de résolution de 50 % sur ce benchmark.
Points clés
- La version mise à jour de Claude 3.
- 5 Sonnet atteint un taux de résolution de 49 % sur le benchmark d'évaluation en ingénierie…
- Ce benchmark teste la capacité des modèles IA à accomplir des tâches d'ingénierie logicielle via…
- L'agent conçu par l'équipe Claude est simple,comprenant uniquement des prompts,un outil Bash et un…
- Aucun modèle n'a encore dépassé un taux de résolution de 50 % sur ce benchmark.
En bref
- Publié
- Mis à jour
- Catégorie
- Tutoriels et astuces
- Score IA
- 72
Anthropic 把自家 SWE-bench agent 的 prompt、工具设计和踩坑经验全公开了,做 coding agent 的人可以直接抄作业,比看十篇二手解读都管用。
Entités associées
Source et droits
Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.
Comment citer
Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.
Orange News : Claude 3.5 Sonnet établit un nouveau record sur le benchmark SWE-bench Verified. 6. janvier 2025. https://new.nat6.net/fr/news/cmorb7ml1008rslhfl2itv1d3/