Meinung

KI-Evaluierung wird zum neuen Rechenengpass

Originaltitel:AI evals are becoming the new compute bottleneck

KI-Zusammenfassung

Die Kosten der KI-Evaluierung haben eine kritische Schwelle überschritten und verändern ihre Zugänglichkeit. Das Holistic Agent Leaderboard gab rund 40.000 US-Dollar für über 20.000 Agenten-Durchläufe aus; ein einzelner Test eines Frontier-Modells kann 2.829 US-Dollar kosten. Die Forschung zeigt, dass die Kosten für dieselbe Aufgabe um das 33-Fache variieren können, wobei die Wahl des Scaffoldings der zentrale Kostentreiber ist. Während statische Benchmarks durch Kompressionstechniken um das Hundertfache kostengünstiger werden können, ist die Kompression bei Agenten-Evaluierungen aufgrund langer Trajektorien und hohen Rauschens begrenzt. Höhere Ausgaben führen nicht zwangsläufig zu besseren Ergebnissen: Im GAIA-Test erreichte eine 2.828-US-Dollar-Lösung eine Genauigkeit von 28,5 %, während eine 1.686-US-Dollar-Lösung 57,6 % erzielte. Umfasst die Evaluierung auch das Modelltraining, übersteigen die Kosten den üblichen API-Rahmen vollständig.

Kernpunkte

  • Die Kosten der KI-Evaluierung haben eine kritische Schwelle überschritten und verändern ihre…
  • Das Holistic Agent Leaderboard gab rund 40.
  • 000 US-Dollar für über 20.
  • 000 Agenten-Durchläufe aus
  • ein einzelner Test eines Frontier-Modells kann 2.

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
Hugging Face 社区博客(混合发现)
Kategorie
Meinung
KI-Bewertung
62
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

这篇把分散的评估成本数据拉通了算总账,曾经便宜的评测现在动辄上万美元,独立评估正被价格挤出牌桌,做Agent的人必须意识到排行榜的代价。

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: KI-Evaluierung wird zum neuen Rechenengpass. 30. April 2026. https://new.nat6.net/de/news/cmokcbel300ilsl4fwekuxwgp/

Alle ansehen →