CRUX-Projekt schlägt „Open-World-Evaluation“ zur Prüfung von Frontier-KI-Fähigkeiten vor
Originaltitel:Open-world evaluations for measuring frontier AI capabilities
KI-Zusammenfassung
Das CRUX-Projekt besteht aus 17 Forschenden und testet KI-Fähigkeiten in realen Szenarien mittels „Open-World-Evaluation“. Im ersten Experiment entwickelte und veröffentlichte ein KI-Agent erfolgreich eine iOS-App im App Store, mit nur zwei Fehlern und Kosten von etwa 1.000 US-Dollar; zugleich offenbarte sich das Risiko KI-getriebener Spam-Inhalte in App-Stores.
Kernpunkte
- Das CRUX-Projekt besteht aus 17 Forschenden und testet KI-Fähigkeiten in realen Szenarien mittels…
- Im ersten Experiment entwickelte und veröffentlichte ein KI-Agent erfolgreich eine iOS-App im App…
- 000 US-Dollar
- zugleich offenbarte sich das Risiko KI-getriebener Spam-Inhalte in App-Stores.
Auf einen Blick
- Veröffentlicht
- Aktualisiert
- Quelle
- AI as Normal Technology(RSS)
- Kategorie
- Papers & Forschung
- KI-Bewertung
- 70
这篇提出「开放世界评估」概念,用发布 iOS 应用的实验证明 agent 已接近自主完成端到端真实任务,这给评估方法论和 App Store 反垃圾都敲了警钟。
Quelle & Urheberrecht
Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.
Zitierhinweis
Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.
Orange News: CRUX-Projekt schlägt „Open-World-Evaluation“ zur Prüfung von Frontier-KI-Fähigkeiten vor. 17. April 2026. https://new.nat6.net/de/news/cms3fv5il00ofrondzp68ytt6/