Статьи и исследования

METR: около половины AI-PR, прошедших SWE-bench Verified, не принимаются мейнтейнерами

Оригинальный заголовок:Many SWE-bench-Passing PRs Would Not Be Merged into Main

ИИ-резюме

METR провела слепую проверку 296 AI-сгенерированных PR силами 4 мейнтейнеров scikit-learn, Sphinx и pytest и обнаружила, что около половины патчей, прошедших автоматическую оценку SWE-bench Verified, не попадают в основную ветку; после нормировки по золотому стандарту доля принятых мейнтейнерами патчей в среднем на 24,2 процентного пункта ниже автоматической оценки. Исследование подчёркивает, что AI-патчи не получают итеративной обратной связи, как у человеческих разработчиков, поэтому нельзя делать вывод о пределе возможностей, но прямое выведение реальной пользы агентов из оценок бенчмарка может её завышать.

Ключевые моменты

  • METR провела слепую проверку 296 AI-сгенерированных PR силами 4 мейнтейнеров scikit-learn,Sphinx и…
  • после нормировки по золотому стандарту доля принятых мейнтейнерами патчей в среднем на 24,2…
  • Исследование подчёркивает,что AI-патчи не получают итеративной обратной связи,как у человеческих…

Кратко

Опубликовано
Обновлено
Источник
METR:Notes(网页)
Категория
Статьи и исследования
Оценка ИИ
62
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

研究用真实仓库维护者盲审 AI 补丁,量化了 SWE-bench 分数与实际可合并之间的差距,为解读编码基准提供了参照。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: METR: около половины AI-PR, прошедших SWE-bench Verified, не принимаются мейнтейнерами. 10 марта 2026. https://new.nat6.net/ru/news/cmtym8yln0009rolseat7ohr1/

Смотреть все →