Мнения

Как мы взломали ведущие бенчмарки AI Agent и что будет дальше

Оригинальный заголовок:How We Broke Top AI Agent Benchmarks: And What Comes Next

ИИ-резюме

Исследовательская группа из Беркли разработала автоматизированного агента-сканера, который системно проверил восемь популярных бенчмарков AI Agent, включая SWE-bench и WebArena, и обнаружил уязвимости во всех. Меняя конфигурацию тестов, внедряя троянские обёртки и считывая эталонные ответы, агент получил 100% в Terminal-Bench и SWE-bench Verified и почти 100% в WebArena, не решив ни одной задачи. Исследование выявило системные уязвимости в механизмах оценки AI-бенчмарков: высокий балл не равен реальным способностям.

Ключевые моменты

  • Исследовательская группа из Беркли разработала автоматизированного агента-сканера,который системно…
  • Меняя конфигурацию тестов,внедряя троянские обёртки и считывая эталонные ответы,агент получил 100%…
  • Исследование выявило системные уязвимости в механизмах оценки AI-бенчмарков: высокий балл не равен…

Кратко

Опубликовано
Обновлено
Источник
Berkeley RDI:Blog(AI 安全与评测)
Категория
Мнения
Оценка ИИ
87
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

伯克利团队从内部挨个拆解了八大主流基准,发现全都能被零能力 agent 打满分。这不只是打脸,他们给出了一份评估构建清单,以后做基准的人必须过了这一关才算及格。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Как мы взломали ведущие бенчмарки AI Agent и что будет дальше. 8 апреля 2026. https://new.nat6.net/ru/news/cmnxbjlqu00apsln09alcqies/

Смотреть все →