Kertas penyelidikan

Berkeley RDI lancar penanda aras Agents' Last Exam

Tajuk asal:Agents' Last Exam

Ringkasan AI

Pada Jun 2026, Berkeley RDI melancarkan penanda aras Agents' Last Exam (ALE), mengandungi lebih 1,500 tugas yang berpunca daripada kerja sebenar, merangkumi 55 pekerjaan bukan fizikal. Penilaian terhadap ejen termaju seperti Fable 5, GPT-5.5 dan Composer 2.5 menunjukkan: kadar kejayaan pada tahap paling sukar ialah 0%; prestasi keseluruhan tugas hampir sama, tetapi kos setiap tugas berbeza jauh (Fable 5 kira-kira $15.70, GPT-5.5 kira-kira $3.80, Composer 2.5 kira-kira $1.33). Kadar lulus terbaik subset CLI ALE-CLI hanya 25.2%. Mod kegagalan utama ialah ejen mengisytiharkan selesai tanpa mengesahkan output. Set data, kod dan subset CLI telah disumber terbuka.

Maklumat penting

  • Pada Jun 2026,Berkeley RDI melancarkan penanda aras Agents' Last Exam (ALE),mengandungi lebih…
  • Penilaian terhadap ejen termaju seperti Fable 5,GPT-5.
  • 5 dan Composer 2.
  • 5 menunjukkan: kadar kejayaan pada tahap paling sukar ialah 0%
  • prestasi keseluruhan tugas hampir sama,tetapi kos setiap tugas berbeza jauh (Fable 5 kira-kira $15.

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
Berkeley RDI:Blog(AI 安全与评测)
Kategori
Kertas penyelidikan
Skor AI
83
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

在Fable 5发布后,Berkeley的ALE基准首次大规模量化了agent在专业任务上的真实水平,最难任务0%成功率的结果值得所有押注agent落地的团队冷静下来。

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: Berkeley RDI lancar penanda aras Agents' Last Exam. 15 Jun 2026. https://new.nat6.net/ms/news/cmqfzukav0264slspmybg065u/

Lihat Semua →