論文・研究

CRUXプロジェクト、「オープンワールド評価」で最先端AI能力をテスト

原題:Open-world evaluations for measuring frontier AI capabilities

AI 要約

CRUXプロジェクトは17人の研究者で構成され、「オープンワールド評価」を通じて実環境でAI能力をテストしている。最初の実験では、AIエージェントがiOSアプリを開発しApp Storeに公開することに成功し、エラーはわずか2回、コストは約1,000ドルだった。一方で、AIによるアプリストアのスパムリスクも明らかになった。

要点

  • CRUXプロジェクトは17人の研究者で構成され、「オープンワールド評価」を通じて実環境でAI能力をテストしている。
  • 最初の実験では、AIエージェントがiOSアプリを開発しApp Storeに公開することに成功し、エラーはわずか2回、コストは約1,000ドルだった。
  • 一方で、AIによるアプリストアのスパムリスクも明らかになった

概要

公開日時
更新日時
出典
AI as Normal Technology(RSS)
カテゴリ
論文・研究
AI スコア
70
原文を読む 情報源で全文を読む
おすすめの理由

这篇提出「开放世界评估」概念,用发布 iOS 应用的实验证明 agent 已接近自主完成端到端真实任务,这给评估方法论和 App Store 反垃圾都敲了警钟。

出典と著作権

本記事は AIHOT の公開 API が提供する厳選タイトルと AI 要約に基づいており、出典の明記と元記事へのリンクを行っています。原文の著作権は元の媒体と著者に帰属し、当サイトは全文を転載しません。

原文記事 · AIHOT 記事

引用方法

本記事を引用する際は、タイトル・日付・パーマリンクを保持し、出典をOrange Newsと明記してください。

Orange News:CRUXプロジェクト、「オープンワールド評価」で最先端AI能力をテスト。2026年4月17日。https://new.nat6.net/ja/news/cms3fv5il00ofrondzp68ytt6/

すべて見る →