Proyek CRUX mengusulkan evaluasi dunia terbuka untuk menguji kemampuan AI terdepan
Judul asli:Open-world evaluations for measuring frontier AI capabilities
Ringkasan AI
Proyek CRUX terdiri atas 17 peneliti yang menguji kemampuan AI dalam skenario nyata melalui evaluasi dunia terbuka. Dalam eksperimen pertama, sebuah agen AI berhasil mengembangkan dan merilis aplikasi iOS ke App Store dengan hanya dua kesalahan dan biaya sekitar 1.000 dolar AS, tetapi juga mengungkap risiko spam di toko aplikasi yang didorong AI.
Poin utama
- Proyek CRUX terdiri atas 17 peneliti yang menguji kemampuan AI dalam skenario nyata melalui…
- Dalam eksperimen pertama,sebuah agen AI berhasil mengembangkan dan merilis aplikasi iOS ke App…
- 000 dolar AS,tetapi juga mengungkap risiko spam di toko aplikasi yang didorong AI.
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- AI as Normal Technology(RSS)
- Kategori
- Makalah & Riset
- Skor AI
- 70
这篇提出「开放世界评估」概念,用发布 iOS 应用的实验证明 agent 已接近自主完成端到端真实任务,这给评估方法论和 App Store 反垃圾都敲了警钟。
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: Proyek CRUX mengusulkan evaluasi dunia terbuka untuk menguji kemampuan AI terdepan. 17 April 2026. https://new.nat6.net/id/news/cms3fv5il00ofrondzp68ytt6/