Bagaimana kami menembus benchmark AI Agent terkemuka dan prospek ke depan
Judul asli:How We Broke Top AI Agent Benchmarks: And What Comes Next
Ringkasan AI
Tim peneliti Berkeley mengembangkan agen pemindai otomatis yang mengaudit secara sistematis delapan benchmark AI Agent populer seperti SWE-bench dan WebArena, dan menemukan bahwa semuanya memiliki celah yang dapat dieksploitasi. Melalui modifikasi konfigurasi pengujian, penyisipan wrapper trojan, dan pembacaan kunci jawaban, agen tersebut meraih skor sempurna 100% dalam Terminal-Bench, SWE-bench Verified, dan mendekati 100% di WebArena tanpa benar-benar menyelesaikan tugas apa pun. Penelitian ini mengungkap cacat keamanan sistemik dalam mekanisme penilaian benchmark AI saat ini, bahwa skor tinggi tidak sama dengan kemampuan nyata.
Poin utama
- Tim peneliti Berkeley mengembangkan agen pemindai otomatis yang mengaudit secara sistematis…
- Melalui modifikasi konfigurasi pengujian,penyisipan wrapper trojan,dan pembacaan kunci…
- Penelitian ini mengungkap cacat keamanan sistemik dalam mekanisme penilaian benchmark AI saat…
Ringkasan cepat
- Waktu terbit
- Waktu diperbarui
- Sumber
- Berkeley RDI:Blog(AI 安全与评测)
- Kategori
- Opini & Komentar
- Skor AI
- 87
伯克利团队从内部挨个拆解了八大主流基准,发现全都能被零能力 agent 打满分。这不只是打脸,他们给出了一份评估构建清单,以后做基准的人必须过了这一关才算及格。
Sumber dan hak cipta
Artikel ini disusun berdasarkan judul pilihan dan ringkasan AI dari API publik AIHOT, dengan sumber yang dicantumkan dan tautan balik; hak cipta konten asli milik media dan penulis aslinya, situs ini tidak menyalin artikel secara penuh.
Cara mengutip
Saat mengutip artikel ini, sertakan judul, tanggal, dan tautan permanen, serta cantumkan sumber Orange News.
Orange News: Bagaimana kami menembus benchmark AI Agent terkemuka dan prospek ke depan. 8 April 2026. https://new.nat6.net/id/news/cmnxbjlqu00apsln09alcqies/