Как мы взломали ведущие бенчмарки AI Agent и что будет дальше
Оригинальный заголовок:How We Broke Top AI Agent Benchmarks: And What Comes Next
ИИ-резюме
Исследовательская группа из Беркли разработала автоматизированного агента-сканера, который системно проверил восемь популярных бенчмарков AI Agent, включая SWE-bench и WebArena, и обнаружил уязвимости во всех. Меняя конфигурацию тестов, внедряя троянские обёртки и считывая эталонные ответы, агент получил 100% в Terminal-Bench и SWE-bench Verified и почти 100% в WebArena, не решив ни одной задачи. Исследование выявило системные уязвимости в механизмах оценки AI-бенчмарков: высокий балл не равен реальным способностям.
Ключевые моменты
- Исследовательская группа из Беркли разработала автоматизированного агента-сканера,который системно…
- Меняя конфигурацию тестов,внедряя троянские обёртки и считывая эталонные ответы,агент получил 100%…
- Исследование выявило системные уязвимости в механизмах оценки AI-бенчмарков: высокий балл не равен…
Кратко
- Опубликовано
- Обновлено
- Источник
- Berkeley RDI:Blog(AI 安全与评测)
- Категория
- Мнения
- Оценка ИИ
- 87
伯克利团队从内部挨个拆解了八大主流基准,发现全都能被零能力 agent 打满分。这不只是打脸,他们给出了一份评估构建清单,以后做基准的人必须过了这一关才算及格。
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Как мы взломали ведущие бенчмарки AI Agent и что будет дальше. 8 апреля 2026. https://new.nat6.net/ru/news/cmnxbjlqu00apsln09alcqies/