Bagaimana kami menembusi penanda aras AI Agent terkemuka dan prospek masa depan
Tajuk asal:How We Broke Top AI Agent Benchmarks: And What Comes Next
Ringkasan AI
Pasukan penyelidik Berkeley membangunkan ejen pengimbas automatik untuk mengaudit secara sistematik lapan penanda aras AI Agent arus perdana termasuk SWE-bench dan WebArena, dan mendapati kesemuanya mempunyai kelemahan yang boleh dieksploitasi. Melalui pengubahsuaian konfigurasi ujian, penyisipan pembalut trojan dan pembacaan jawapan standard, ejen tersebut memperoleh markah penuh 100% dalam Terminal-Bench dan SWE-bench Verified serta hampir 100% dalam WebArena tanpa benar-benar menyelesaikan sebarang tugas. Kajian ini mendedahkan kecacatan keselamatan sistemik dalam mekanisme penilaian penanda aras AI semasa, di mana markah tinggi tidak bermakna keupayaan sebenar.
Maklumat penting
- Pasukan penyelidik Berkeley membangunkan ejen pengimbas automatik untuk mengaudit secara…
- Melalui pengubahsuaian konfigurasi ujian,penyisipan pembalut trojan dan pembacaan jawapan…
- Kajian ini mendedahkan kecacatan keselamatan sistemik dalam mekanisme penilaian penanda aras AI…
Sekilas pandang
- Diterbitkan pada
- Dikemas kini pada
- Sumber
- Berkeley RDI:Blog(AI 安全与评测)
- Kategori
- Pandangan dan ulasan
- Skor AI
- 87
伯克利团队从内部挨个拆解了八大主流基准,发现全都能被零能力 agent 打满分。这不只是打脸,他们给出了一份评估构建清单,以后做基准的人必须过了这一关才算及格。
Sumber dan hak cipta
Artikel ini disusun berdasarkan tajuk pilihan dan ringkasan AI daripada API awam AIHOT, dengan sumber dinyatakan dan pautan balik disediakan; hak cipta teks asal milik media dan penulis asal, laman ini tidak menyalin penuh teks penuh.
Cara memetik
Apabila memetik artikel ini, kekalkan tajuk, tarikh dan pautan kekal, serta nyatakan sumber sebagai Orange News.
Orange News: Bagaimana kami menembusi penanda aras AI Agent terkemuka dan prospek masa depan. 8 April 2026. https://new.nat6.net/ms/news/cmnxbjlqu00apsln09alcqies/