KI-Evaluierung wird zum neuen Rechenengpass
Originaltitel:AI evals are becoming the new compute bottleneck
KI-Zusammenfassung
Die Kosten der KI-Evaluierung haben eine kritische Schwelle überschritten und verändern ihre Zugänglichkeit. Das Holistic Agent Leaderboard gab rund 40.000 US-Dollar für über 20.000 Agenten-Durchläufe aus; ein einzelner Test eines Frontier-Modells kann 2.829 US-Dollar kosten. Die Forschung zeigt, dass die Kosten für dieselbe Aufgabe um das 33-Fache variieren können, wobei die Wahl des Scaffoldings der zentrale Kostentreiber ist. Während statische Benchmarks durch Kompressionstechniken um das Hundertfache kostengünstiger werden können, ist die Kompression bei Agenten-Evaluierungen aufgrund langer Trajektorien und hohen Rauschens begrenzt. Höhere Ausgaben führen nicht zwangsläufig zu besseren Ergebnissen: Im GAIA-Test erreichte eine 2.828-US-Dollar-Lösung eine Genauigkeit von 28,5 %, während eine 1.686-US-Dollar-Lösung 57,6 % erzielte. Umfasst die Evaluierung auch das Modelltraining, übersteigen die Kosten den üblichen API-Rahmen vollständig.
Kernpunkte
- Die Kosten der KI-Evaluierung haben eine kritische Schwelle überschritten und verändern ihre…
- Das Holistic Agent Leaderboard gab rund 40.
- 000 US-Dollar für über 20.
- 000 Agenten-Durchläufe aus
- ein einzelner Test eines Frontier-Modells kann 2.
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- Hugging Face 社区博客(混合发现)
- Kategorie
- Meinung
- KI-Bewertung
- 62
这篇把分散的评估成本数据拉通了算总账,曾经便宜的评测现在动辄上万美元,独立评估正被价格挤出牌桌,做Agent的人必须意识到排行榜的代价。
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: KI-Evaluierung wird zum neuen Rechenengpass. 30. April 2026. https://new.nat6.net/de/news/cmokcbel300ilsl4fwekuxwgp/