METR: около половины AI-PR, прошедших SWE-bench Verified, не принимаются мейнтейнерами
Оригинальный заголовок:Many SWE-bench-Passing PRs Would Not Be Merged into Main
ИИ-резюме
METR провела слепую проверку 296 AI-сгенерированных PR силами 4 мейнтейнеров scikit-learn, Sphinx и pytest и обнаружила, что около половины патчей, прошедших автоматическую оценку SWE-bench Verified, не попадают в основную ветку; после нормировки по золотому стандарту доля принятых мейнтейнерами патчей в среднем на 24,2 процентного пункта ниже автоматической оценки. Исследование подчёркивает, что AI-патчи не получают итеративной обратной связи, как у человеческих разработчиков, поэтому нельзя делать вывод о пределе возможностей, но прямое выведение реальной пользы агентов из оценок бенчмарка может её завышать.
Ключевые моменты
- METR провела слепую проверку 296 AI-сгенерированных PR силами 4 мейнтейнеров scikit-learn,Sphinx и…
- после нормировки по золотому стандарту доля принятых мейнтейнерами патчей в среднем на 24,2…
- Исследование подчёркивает,что AI-патчи не получают итеративной обратной связи,как у человеческих…
Кратко
- Опубликовано
- Обновлено
- Источник
- METR:Notes(网页)
- Категория
- Статьи и исследования
- Оценка ИИ
- 62
研究用真实仓库维护者盲审 AI 补丁,量化了 SWE-bench 分数与实际可合并之间的差距,为解读编码基准提供了参照。
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: METR: около половины AI-PR, прошедших SWE-bench Verified, не принимаются мейнтейнерами. 10 марта 2026. https://new.nat6.net/ru/news/cmtym8yln0009rolseat7ohr1/