Pandangan dan ulasan

Bagaimana kami menembusi penanda aras AI Agent terkemuka dan prospek masa depan

Tajuk asal:How We Broke Top AI Agent Benchmarks: And What Comes Next

Ringkasan AI

Pasukan penyelidik Berkeley membangunkan ejen pengimbas automatik untuk mengaudit secara sistematik lapan penanda aras AI Agent arus perdana termasuk SWE-bench dan WebArena, dan mendapati kesemuanya mempunyai kelemahan yang boleh dieksploitasi. Melalui pengubahsuaian konfigurasi ujian, penyisipan pembalut trojan dan pembacaan jawapan standard, ejen tersebut memperoleh markah penuh 100% dalam Terminal-Bench dan SWE-bench Verified serta hampir 100% dalam WebArena tanpa benar-benar menyelesaikan sebarang tugas. Kajian ini mendedahkan kecacatan keselamatan sistemik dalam mekanisme penilaian penanda aras AI semasa, di mana markah tinggi tidak bermakna keupayaan sebenar.

Maklumat penting

  • Pasukan penyelidik Berkeley membangunkan ejen pengimbas automatik untuk mengaudit secara…
  • Melalui pengubahsuaian konfigurasi ujian,penyisipan pembalut trojan dan pembacaan jawapan…
  • Kajian ini mendedahkan kecacatan keselamatan sistemik dalam mekanisme penilaian penanda aras AI…

Sekilas pandang

Diterbitkan pada
Dikemas kini pada
Sumber
Berkeley RDI:Blog(AI 安全与评测)
Kategori
Pandangan dan ulasan
Skor AI
87
Baca asal Baca artikel penuh di sumber asal
Sebab disyorkan

伯克利团队从内部挨个拆解了八大主流基准,发现全都能被零能力 agent 打满分。这不只是打脸,他们给出了一份评估构建清单,以后做基准的人必须过了这一关才算及格。

Sumber dan hak cipta

Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.

Pautan asal · Entri AIHOT

Cara memetik

Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.

Orange News: Bagaimana kami menembusi penanda aras AI Agent terkemuka dan prospek masa depan. 8 April 2026. https://new.nat6.net/ms/news/cmnxbjlqu00apsln09alcqies/

Lihat Semua →