Tutoriels et astuces

Claude 3.5 Sonnet établit un nouveau record sur le benchmark SWE-bench Verified

Titre original:Raising the bar on SWE-bench Verified with Claude 3.5 Sonnet

Résumé IA

La version mise à jour de Claude 3.5 Sonnet atteint un taux de résolution de 49 % sur le benchmark d'évaluation en ingénierie logicielle SWE-bench Verified, dépassant les 45 % du meilleur modèle précédent. Ce benchmark teste la capacité des modèles IA à accomplir des tâches d'ingénierie logicielle via de véritables problèmes GitHub, exigeant que le modèle comprenne, modifie et teste le code dans un environnement donné, puis valide le résultat par les tests unitaires d'origine. L'agent conçu par l'équipe Claude est simple, comprenant uniquement des prompts, un outil Bash et un outil d'édition, laissant au modèle une large autonomie de jugement pour résoudre les problèmes en étapes flexibles. Aucun modèle n'a encore dépassé un taux de résolution de 50 % sur ce benchmark.

Points clés

  • La version mise à jour de Claude 3.
  • 5 Sonnet atteint un taux de résolution de 49 % sur le benchmark d'évaluation en ingénierie…
  • Ce benchmark teste la capacité des modèles IA à accomplir des tâches d'ingénierie logicielle via…
  • L'agent conçu par l'équipe Claude est simple,comprenant uniquement des prompts,un outil Bash et un…
  • Aucun modèle n'a encore dépassé un taux de résolution de 50 % sur ce benchmark.

En bref

Publié
Mis à jour
Source
Anthropic:Engineering(事故复盘 + 工程实践 · 网页)
Catégorie
Tutoriels et astuces
Score IA
72
Lire l'original Lire l'article complet à la source d'origine
Pourquoi c'est important

Anthropic 把自家 SWE-bench agent 的 prompt、工具设计和踩坑经验全公开了,做 coding agent 的人可以直接抄作业,比看十篇二手解读都管用。

Entités associées

Source et droits

Cet article s'appuie sur des titres sélectionnés et des résumés IA issus de l'API publique AIHOT, avec attribution et liens de retour. Les droits sur l'original restent ceux des médias et auteurs d'origine ; ce site ne reproduit pas les textes intégraux.

Article original · Fiche AIHOT

Comment citer

Pour citer cet article, conservez le titre, la date et le lien permanent, et indiquez Orange News comme source.

Orange News : Claude 3.5 Sonnet établit un nouveau record sur le benchmark SWE-bench Verified. 6. janvier 2025. https://new.nat6.net/fr/news/cmorb7ml1008rslhfl2itv1d3/

Tout voir →