CRUXプロジェクト、「オープンワールド評価」で最先端AI能力をテスト
原題:Open-world evaluations for measuring frontier AI capabilities
AI 要約
CRUXプロジェクトは17人の研究者で構成され、「オープンワールド評価」を通じて実環境でAI能力をテストしている。最初の実験では、AIエージェントがiOSアプリを開発しApp Storeに公開することに成功し、エラーはわずか2回、コストは約1,000ドルだった。一方で、AIによるアプリストアのスパムリスクも明らかになった。
要点
- CRUXプロジェクトは17人の研究者で構成され、「オープンワールド評価」を通じて実環境でAI能力をテストしている。
- 最初の実験では、AIエージェントがiOSアプリを開発しApp Storeに公開することに成功し、エラーはわずか2回、コストは約1,000ドルだった。
- 一方で、AIによるアプリストアのスパムリスクも明らかになった
概要
- 公開日時
- 更新日時
- カテゴリ
- 論文・研究
- AI スコア
- 70
おすすめの理由
这篇提出「开放世界评估」概念,用发布 iOS 应用的实验证明 agent 已接近自主完成端到端真实任务,这给评估方法论和 App Store 反垃圾都敲了警钟。
出典と著作権
本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。
引用方法
本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。
Orange News:CRUXプロジェクト、「オープンワールド評価」で最先端AI能力をテスト。2026年4月17日。https://new.nat6.net/ja/news/cms3fv5il00ofrondzp68ytt6/