Makalah & Riset

Berkeley RDI merilis benchmark Agents' Last Exam

Judul asli:Agents' Last Exam

Ringkasan AI

Pada Juni 2026, Berkeley RDI merilis benchmark Agents' Last Exam (ALE) yang berisi lebih dari 1.500 tugas yang berasal dari pekerjaan nyata, mencakup 55 profesi non-fisik. Evaluasi terhadap agen AI terdepan seperti Fable 5, GPT-5.5, dan Composer 2.5 menunjukkan: tingkat keberhasilan 0% pada tingkat tersulit; kinerja keseluruhan tugas hampir setara, tetapi biaya per tugas berbeda jauh (Fable 5 sekitar $15,70, GPT-5.5 sekitar $3,80, Composer 2.5 sekitar $1,33). Tingkat kelulusan terbaik pada subset CLI ALE-CLI hanya 25,2%. Pola kegagalan utama adalah agen mengklaim selesai tanpa memverifikasi output. Dataset, kode, dan subset CLI telah dirilis sebagai sumber terbuka.

Poin utama

  • Pada Juni 2026,Berkeley RDI merilis benchmark Agents' Last Exam (ALE) yang berisi lebih dari 1.
  • 500 tugas yang berasal dari pekerjaan nyata,mencakup 55 profesi non-fisik.
  • Evaluasi terhadap agen AI terdepan seperti Fable 5,GPT-5.
  • 5,dan Composer 2.
  • 5 menunjukkan: tingkat keberhasilan 0% pada tingkat tersulit

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
Berkeley RDI:Blog(AI 安全与评测)
Kategori
Makalah & Riset
Skor AI
83
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

在Fable 5发布后,Berkeley的ALE基准首次大规模量化了agent在专业任务上的真实水平,最难任务0%成功率的结果值得所有押注agent落地的团队冷静下来。

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Berkeley RDI merilis benchmark Agents' Last Exam. 15 Juni 2026. https://new.nat6.net/id/news/cmqfzukav0264slspmybg065u/

Lihat semua →