Kertas penyelidikan

Projek CRUX mencadangkan penilaian dunia terbuka untuk menguji keupayaan AI termaju

Tajuk asal:Open-world evaluations for measuring frontier AI capabilities

Ringkasan AI

Projek CRUX yang terdiri daripada 17 penyelidik menguji keupayaan AI dalam senario sebenar melalui penilaian dunia terbuka. Dalam eksperimen pertama, seorang ejen AI berjaya membangunkan dan menerbitkan aplikasi iOS ke App Store dengan hanya dua ralat, pada kos kira-kira 1000 dolar, tetapi turut mendedahkan risiko spam kedai aplikasi yang dipacu AI.

Maklumat penting

  • Projek CRUX yang terdiri daripada 17 penyelidik menguji keupayaan AI dalam senario sebenar melalui…
  • Dalam eksperimen pertama,seorang ejen AI berjaya membangunkan dan menerbitkan aplikasi iOS ke App…
  • pada kos kira-kira 1000 dolar,tetapi turut mendedahkan risiko spam kedai aplikasi yang dipacu AI.

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
AI as Normal Technology(RSS)
Kategori
Kertas penyelidikan
Skor AI
70
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

这篇提出「开放世界评估」概念,用发布 iOS 应用的实验证明 agent 已接近自主完成端到端真实任务,这给评估方法论和 App Store 反垃圾都敲了警钟。

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: Projek CRUX mencadangkan penilaian dunia terbuka untuk menguji keupayaan AI termaju. 17 April 2026. https://new.nat6.net/ms/news/cms3fv5il00ofrondzp68ytt6/

Lihat Semua →