Статьи и исследования

Обновление исследования METR: алгоритмическая оценка завышает реальные способности ИИ-агентов в разработке ПО

Оригинальный заголовок:Research Update: Algorithmic vs. Holistic Evaluation

ИИ-резюме

METR оценила Claude 3.7 Sonnet (агент Inspect ReAct) на 18 реальных issue в репозиториях stdlib-js и hypothesis: алгоритмическая оценка по тестам мейнтейнеров дала 38% успеха (±19%), но ни один из 15 PR, проверенных людьми, не был готов к прямому слиянию.

Ключевые моменты

  • METR оценила Claude 3.
  • 7 Sonnet (агент Inspect ReAct) на 18 реальных issue в репозиториях stdlib-js и hypothesis:…
  • но ни один из 15 PR,проверенных людьми,не был готов к прямому слиянию.

Кратко

Опубликовано
Обновлено
Источник
METR:Research(网页)
Категория
Статьи и исследования
Оценка ИИ
61
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

METR 用人工评审对照算法评分,给出量化证据说明测试类基准为何高估智能体的真实软件工程能力。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Обновление исследования METR: алгоритмическая оценка завышает реальные способности ИИ-агентов в разработке ПО. 13 августа 2025. https://new.nat6.net/ru/news/cmtyo7nb703vbrog0wobc9ksx/

Смотреть все →