Paano namin nabasag ang nangungunang AI Agent benchmarks at ang hinaharap
Orihinal na pamagat:How We Broke Top AI Agent Benchmarks: And What Comes Next
AI summary
Bumuo ang research team ng Berkeley ng automated scanning agent na sistematikong nag-audit sa walong pangunahing AI Agent benchmarks tulad ng SWE-bench at WebArena, at natuklasan na lahat ay may exploitable vulnerabilities. Sa pamamagitan ng pagbabago ng test configuration, paglalagay ng trojan wrapper, at pagbasa ng standard answers, nakakuha ang agent ng 100% sa Terminal-Bench at SWE-bench Verified at halos 100% sa WebArena nang hindi aktwal na nilulutas ang anumang gawain. Inihayag ng pag-aaral ang systemic security flaws sa kasalukuyang scoring mechanisms ng AI benchmarks; hindi katumbas ng tunay na kakayahan ang mataas na score.
Mahahalagang impormasyon
- Bumuo ang research team ng Berkeley ng automated scanning agent na sistematikong nag-audit sa…
- Sa pamamagitan ng pagbabago ng test configuration,paglalagay ng trojan wrapper,at pagbasa ng…
- Inihayag ng pag-aaral ang systemic security flaws sa kasalukuyang scoring mechanisms ng AI…
- hindi katumbas ng tunay na kakayahan ang mataas na score.
Mabilisang tingin
- Na-publish noong
- Na-update noong
- Pinagmulan
- Berkeley RDI:Blog(AI 安全与评测)
- Kategorya
- Mga Opinyon at Komentaryo
- AI na marka
- 87
伯克利团队从内部挨个拆解了八大主流基准,发现全都能被零能力 agent 打满分。这不只是打脸,他们给出了一份评估构建清单,以后做基准的人必须过了这一关才算及格。
Pinagmulan at copyright
Ang artikulong ito ay batay sa mga piling pamagat at AI summary mula sa pampublikong API ng AIHOT, may nakasaad na pinagmulan at backlink; ang copyright ng orihinal na teksto ay pag-aari ng orihinal na media at may-akda, hindi namin ginagaya ang buong teksto.
Paano banggitin
Kapag binabanggit ang artikulong ito, panatilihin ang pamagat, petsa at permanenteng link, at banggitin ang Orange News bilang pinagmulan.
Orange News: Paano namin nabasag ang nangungunang AI Agent benchmarks at ang hinaharap. 8 Abril 2026. https://new.nat6.net/fil/news/cmnxbjlqu00apsln09alcqies/