Opini & Komentar

Bagaimana kami menembus benchmark AI Agent terkemuka dan prospek ke depan

Judul asli:How We Broke Top AI Agent Benchmarks: And What Comes Next

Ringkasan AI

Tim peneliti Berkeley mengembangkan agen pemindai otomatis yang mengaudit secara sistematis delapan benchmark AI Agent populer seperti SWE-bench dan WebArena, dan menemukan bahwa semuanya memiliki celah yang dapat dieksploitasi. Melalui modifikasi konfigurasi pengujian, penyisipan wrapper trojan, dan pembacaan kunci jawaban, agen tersebut meraih skor sempurna 100% dalam Terminal-Bench, SWE-bench Verified, dan mendekati 100% di WebArena tanpa benar-benar menyelesaikan tugas apa pun. Penelitian ini mengungkap cacat keamanan sistemik dalam mekanisme penilaian benchmark AI saat ini, bahwa skor tinggi tidak sama dengan kemampuan nyata.

Poin utama

  • Tim peneliti Berkeley mengembangkan agen pemindai otomatis yang mengaudit secara sistematis…
  • Melalui modifikasi konfigurasi pengujian,penyisipan wrapper trojan,dan pembacaan kunci…
  • Penelitian ini mengungkap cacat keamanan sistemik dalam mekanisme penilaian benchmark AI saat…

Ringkasan cepat

Waktu terbit
Waktu diperbarui
Sumber
Berkeley RDI:Blog(AI 安全与评测)
Kategori
Opini & Komentar
Skor AI
87
Baca aslinya Baca artikel lengkap di sumber aslinya
Alasan rekomendasi

伯克利团队从内部挨个拆解了八大主流基准,发现全都能被零能力 agent 打满分。这不只是打脸,他们给出了一份评估构建清单,以后做基准的人必须过了这一关才算及格。

Sumber dan hak cipta

Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.

Tautan asli · Entri AIHOT

Cara mengutip

Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.

Orange News: Bagaimana kami menembus benchmark AI Agent terkemuka dan prospek ke depan. 8 April 2026. https://new.nat6.net/id/news/cmnxbjlqu00apsln09alcqies/

Lihat semua →