Papers & Forschung

Infrastrukturstörungen bei der Bewertung von Coding-Agenten

Originaltitel:Quantifying infrastructure noise in agentic coding evals

KI-Zusammenfassung

Eine Studie zeigt, dass bei Agenten-Coding-Benchmarks wie SWE-bench Unterschiede in der Infrastrukturkonfiguration die Modellbewertung stärker beeinflussen können als die geringen Punktabstände zwischen den Spitzenmodellen der Rangliste. Interne Experimente mit Terminal-Bench 2.0 ergaben einen Unterschied von 6 Prozent bei der Erfolgsquote zwischen der strengsten und der großzügigsten Ressourceneinstellung. Bei strenger Ressourcenbegrenzung scheiterten fast 6 Prozent der Aufgaben, weil Container unerwartet beendet wurden; bei großzügiger Konfiguration sank diese Fehlerquote auf 0,5 Prozent. Überstieg der Ressourcenpuffer die Benchmark-Spezifikation um das Dreifache, konnten Agenten mit den zusätzlichen Ressourcen sogar ursprünglich unlösbare Aufgaben erfolgreich abschließen. Das zeigt: Die Evaluierungsumgebung beeinflusst nicht nur die Teststabilität, sondern verändert auch, welche Fähigkeitsdimensionen der Benchmark tatsächlich misst.

Kernpunkte

  • Eine Studie zeigt,dass bei Agenten-Coding-Benchmarks wie SWE-bench Unterschiede in der…
  • Interne Experimente mit Terminal-Bench 2.
  • 0 ergaben einen Unterschied von 6 Prozent bei der Erfolgsquote zwischen der strengsten und der…
  • Bei strenger Ressourcenbegrenzung scheiterten fast 6 Prozent der Aufgaben,weil Container…
  • bei großzügiger Konfiguration sank diese Fehlerquote auf 0,5 Prozent.

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
Anthropic:Engineering(事故复盘 + 工程实践 · 网页)
Kategorie
Papers & Forschung
KI-Bewertung
74
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

Anthropic 用自家数据证明,agentic coding benchmark 的排行榜差距可能只是硬件配置差异而非模型能力差距,3 个百分点以内的领先都该打问号。做模型选型的人别再迷信那几个百分点了。

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: Infrastrukturstörungen bei der Bewertung von Coding-Agenten. 5. Februar 2026. https://new.nat6.net/de/news/cmorb7ml0008bslhfiqfwufv7/

Alle ansehen →