Makalah & Riset

Proyek CRUX mengusulkan evaluasi dunia terbuka untuk menguji kemampuan AI terdepan

Judul asli:Open-world evaluations for measuring frontier AI capabilities

Ringkasan AI

Proyek CRUX terdiri atas 17 peneliti yang menguji kemampuan AI dalam skenario nyata melalui evaluasi dunia terbuka. Dalam eksperimen pertama, sebuah agen AI berhasil mengembangkan dan merilis aplikasi iOS ke App Store dengan hanya dua kesalahan dan biaya sekitar 1.000 dolar AS, tetapi juga mengungkap risiko spam di toko aplikasi yang didorong AI.

Poin utama

  • Proyek CRUX terdiri atas 17 peneliti yang menguji kemampuan AI dalam skenario nyata melalui…
  • Dalam eksperimen pertama,sebuah agen AI berhasil mengembangkan dan merilis aplikasi iOS ke App…
  • 000 dolar AS,tetapi juga mengungkap risiko spam di toko aplikasi yang didorong AI.

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
AI as Normal Technology(RSS)
Kategori
Makalah & Riset
Skor AI
70
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

这篇提出「开放世界评估」概念,用发布 iOS 应用的实验证明 agent 已接近自主完成端到端真实任务,这给评估方法论和 App Store 反垃圾都敲了警钟。

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Proyek CRUX mengusulkan evaluasi dunia terbuka untuk menguji kemampuan AI terdepan. 17 April 2026. https://new.nat6.net/id/news/cms3fv5il00ofrondzp68ytt6/

Lihat semua →