Claude 3.5 Sonnet stellt Rekord im Benchmark SWE-bench Verified auf
Originaltitel:Raising the bar on SWE-bench Verified with Claude 3.5 Sonnet
KI-Zusammenfassung
Das aktualisierte Claude 3.5 Sonnet erreichte im Software-Engineering-Benchmark SWE-bench Verified eine Lösungsquote von 49 Prozent und übertraf damit das bisher beste Modell mit 45 Prozent. Der Benchmark testet anhand echter GitHub-Probleme die Fähigkeit von KI-Modellen, Software-Engineering-Aufgaben zu erledigen; die Modelle müssen Code in einer vorgegebenen Umgebung verstehen, ändern und testen, wobei die ursprünglichen Unit-Tests die abschließende Validierung liefern. Das Agentendesign des Claude-Teams ist bewusst einfach gehalten und umfasst nur einen Prompt, ein Bash-Tool und ein Bearbeitungstool, wodurch das Modell ausreichend Spielraum für eigenständige Entscheidungen erhält, um Aufgaben in flexiblen Schritten zu lösen. Bislang hat kein Modell in diesem Benchmark die 50-Prozent-Marke bei der Lösungsquote überschritten.
Kernpunkte
- Das aktualisierte Claude 3.
- 5 Sonnet erreichte im Software-Engineering-Benchmark SWE-bench Verified eine Lösungsquote von 49…
- Der Benchmark testet anhand echter GitHub-Probleme die Fähigkeit von…
- die Modelle müssen Code in einer vorgegebenen Umgebung verstehen,ändern und testen,wobei die…
- Das Agentendesign des Claude-Teams ist bewusst einfach gehalten und umfasst nur einen Prompt,ein…
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Kategorie
- Tutorials & Tipps
- KI-Bewertung
- 72
Anthropic 把自家 SWE-bench agent 的 prompt、工具设计和踩坑经验全公开了,做 coding agent 的人可以直接抄作业,比看十篇二手解读都管用。
Verwandte Entitäten
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: Claude 3.5 Sonnet stellt Rekord im Benchmark SWE-bench Verified auf. 6. Januar 2025. https://new.nat6.net/de/news/cmorb7ml1008rslhfl2itv1d3/