Papers & Forschung

OpenAI-Audit von SWE-Bench Pro findet Mängel bei rund 30 % der Evaluierungsaufgaben

Originaltitel:Separating signal from noise in coding evaluations

KI-Zusammenfassung

OpenAI hat den Coding-Benchmark SWE-Bench Pro eingehend geprüft und bei rund 30 % der Aufgaben Mängel festgestellt. Im öffentlichen Teilset von 731 Aufgaben stieg die Bestehensrate von Frontier-Modellen binnen acht Monaten von 23,3 % auf 80,3 %; die Datenqualitätsprüfung zeigte jedoch zahlreiche Probleme wie zu strenge Tests, unzureichende Prompt-Beschreibungen, unvollständige Testabdeckung oder irreführende Hinweise. OpenAI empfiehlt Modellentwicklern, Evaluierungsergebnisse sorgfältig zu prüfen, und verweist auf den wachsenden Nutzen von KI-Agenten für Datenqualitätsprüfungen im großen Maßstab.

Kernpunkte

  • OpenAI hat den Coding-Benchmark SWE-Bench Pro eingehend geprüft und bei rund 30 % der Aufgaben…
  • Im öffentlichen Teilset von 731 Aufgaben stieg die Bestehensrate von Frontier-Modellen binnen acht…
  • die Datenqualitätsprüfung zeigte jedoch zahlreiche Probleme wie zu strenge Tests,unzureichende…
  • OpenAI empfiehlt Modellentwicklern,Evaluierungsergebnisse sorgfältig zu prüfen,und verweist auf…

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
OpenAI:官网动态(RSS · 排除企业/客户案例)
Kategorie
Papers & Forschung
KI-Bewertung
70
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

OpenAI 自己审计了 SWE-Bench Pro,发现三成任务有缺陷,这个基准给出来的分数可能要打问号,做模型评测和选型的人该认真看看。

Verwandte Entitäten

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: OpenAI-Audit von SWE-Bench Pro findet Mängel bei rund 30 % der Evaluierungsaufgaben. 8. Juli 2026. https://new.nat6.net/de/news/cmrcigf5k01bqihx54i8oph9u/

Alle ansehen →