Обновление исследования METR: алгоритмическая оценка завышает реальные способности ИИ-агентов в разработке ПО
Оригинальный заголовок:Research Update: Algorithmic vs. Holistic Evaluation
ИИ-резюме
METR оценила Claude 3.7 Sonnet (агент Inspect ReAct) на 18 реальных issue в репозиториях stdlib-js и hypothesis: алгоритмическая оценка по тестам мейнтейнеров дала 38% успеха (±19%), но ни один из 15 PR, проверенных людьми, не был готов к прямому слиянию.
Ключевые моменты
- METR оценила Claude 3.
- 7 Sonnet (агент Inspect ReAct) на 18 реальных issue в репозиториях stdlib-js и hypothesis:…
- но ни один из 15 PR,проверенных людьми,не был готов к прямому слиянию.
Кратко
- Опубликовано
- Обновлено
- Источник
- METR:Research(网页)
- Категория
- Статьи и исследования
- Оценка ИИ
- 61
METR 用人工评审对照算法评分,给出量化证据说明测试类基准为何高估智能体的真实软件工程能力。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Обновление исследования METR: алгоритмическая оценка завышает реальные способности ИИ-агентов в разработке ПО. 13 августа 2025. https://new.nat6.net/ru/news/cmtyo7nb703vbrog0wobc9ksx/