Papers & Forschung

CRUX-Projekt schlägt „Open-World-Evaluation“ zur Prüfung von Frontier-KI-Fähigkeiten vor

Originaltitel:Open-world evaluations for measuring frontier AI capabilities

KI-Zusammenfassung

Das CRUX-Projekt besteht aus 17 Forschenden und testet KI-Fähigkeiten in realen Szenarien mittels „Open-World-Evaluation“. Im ersten Experiment entwickelte und veröffentlichte ein KI-Agent erfolgreich eine iOS-App im App Store, mit nur zwei Fehlern und Kosten von etwa 1.000 US-Dollar; zugleich offenbarte sich das Risiko KI-getriebener Spam-Inhalte in App-Stores.

Kernpunkte

  • Das CRUX-Projekt besteht aus 17 Forschenden und testet KI-Fähigkeiten in realen Szenarien mittels…
  • Im ersten Experiment entwickelte und veröffentlichte ein KI-Agent erfolgreich eine iOS-App im App…
  • 000 US-Dollar
  • zugleich offenbarte sich das Risiko KI-getriebener Spam-Inhalte in App-Stores.

Auf einen Blick

Veröffentlicht
Aktualisiert
Quelle
AI as Normal Technology(RSS)
Kategorie
Papers & Forschung
KI-Bewertung
70
Original lesen Den vollständigen Artikel bei der Originalquelle lesen
Warum es wichtig ist

这篇提出「开放世界评估」概念,用发布 iOS 应用的实验证明 agent 已接近自主完成端到端真实任务,这给评估方法论和 App Store 反垃圾都敲了警钟。

Quelle & Urheberrecht

Dieser Artikel basiert auf kuratierten Titeln und KI-Zusammenfassungen der öffentlichen AIHOT-API, mit Quellenangabe und Rückverlinkung. Das Urheberrecht am Original liegt bei den ursprünglichen Medien und Autoren; diese Seite spiegelt keine Volltexte.

Originalartikel · AIHOT-Eintrag

Zitierhinweis

Beim Zitieren dieses Artikels bitte Titel, Datum und Permalink beibehalten und Orange News als Quelle angeben.

Orange News: CRUX-Projekt schlägt „Open-World-Evaluation“ zur Prüfung von Frontier-KI-Fähigkeiten vor. 17. April 2026. https://new.nat6.net/de/news/cms3fv5il00ofrondzp68ytt6/

Alle ansehen →