Berkeley RDI merilis benchmark Agents' Last Exam
Judul asli:Agents' Last Exam
Ringkasan AI
Pada Juni 2026, Berkeley RDI merilis benchmark Agents' Last Exam (ALE) yang berisi lebih dari 1.500 tugas yang berasal dari pekerjaan nyata, mencakup 55 profesi non-fisik. Evaluasi terhadap agen AI terdepan seperti Fable 5, GPT-5.5, dan Composer 2.5 menunjukkan: tingkat keberhasilan 0% pada tingkat tersulit; kinerja keseluruhan tugas hampir setara, tetapi biaya per tugas berbeda jauh (Fable 5 sekitar $15,70, GPT-5.5 sekitar $3,80, Composer 2.5 sekitar $1,33). Tingkat kelulusan terbaik pada subset CLI ALE-CLI hanya 25,2%. Pola kegagalan utama adalah agen mengklaim selesai tanpa memverifikasi output. Dataset, kode, dan subset CLI telah dirilis sebagai sumber terbuka.
Poin utama
- Pada Juni 2026,Berkeley RDI merilis benchmark Agents' Last Exam (ALE) yang berisi lebih dari 1.
- 500 tugas yang berasal dari pekerjaan nyata,mencakup 55 profesi non-fisik.
- Evaluasi terhadap agen AI terdepan seperti Fable 5,GPT-5.
- 5,dan Composer 2.
- 5 menunjukkan: tingkat keberhasilan 0% pada tingkat tersulit
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- Berkeley RDI:Blog(AI 安全与评测)
- Kategori
- Makalah & Riset
- Skor AI
- 83
在Fable 5发布后,Berkeley的ALE基准首次大规模量化了agent在专业任务上的真实水平,最难任务0%成功率的结果值得所有押注agent落地的团队冷静下来。
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: Berkeley RDI merilis benchmark Agents' Last Exam. 15 Juni 2026. https://new.nat6.net/id/news/cmqfzukav0264slspmybg065u/