Warum SWE-bench Verified keine Spitzen-Coding-Fähigkeiten mehr misst
KI-Zusammenfassung
OpenAI kündigt an, den Benchmark SWE-bench Verified nicht mehr zur Bewertung von Spitzen-Coding-Fähigkeiten zu verwenden. Der Benchmark basiert auf historischen GitHub-Problemen, und seine Aufgabenverteilung spiegelt nicht mehr genau die Problemtypen wider, die heutige KI-Coding-Assistenten lösen müssen. Mit steigender Modellleistung nähert sich der Testdatensatz der Sättigung, die Trennschärfe sinkt und die aktuellen Modelle erreichen nahezu menschliches Niveau. Das Team wird daher auf neue Bewertungsmethoden mit höherer Schwierigkeit und realer Komplexität umsteigen.
Kernpunkte
- OpenAI kündigt an,den Benchmark SWE-bench Verified nicht mehr zur Bewertung von…
- Der Benchmark basiert auf historischen GitHub-Problemen,und seine Aufgabenverteilung spiegelt…
- Mit steigender Modellleistung nähert sich der Testdatensatz der Sättigung,die Trennschärfe sinkt…
- Das Team wird daher auf neue Bewertungsmethoden mit höherer Schwierigkeit und realer Komplexität…
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- OpenAI:官网动态(RSS · 排除企业/客户案例)
- Kategorie
- Meinung
- KI-Bewertung
- 71
OpenAI 亲自给 SWE-bench Verified 判了死刑,这比任何第三方评测都有说服力。做 coding agent 选型的人该认真想想,你的 benchmark 体系是不是也该换了。
Verwandte Entitäten
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: Warum SWE-bench Verified keine Spitzen-Coding-Fähigkeiten mehr misst. 27. April 2026. https://new.nat6.net/de/news/cmog2im0800vbslr37vxebh5g/