Почему SWE-bench Verified больше не измеряет передовые способности к кодированию
ИИ-резюме
OpenAI объявила о прекращении использования бенчмарка SWE-bench Verified для оценки передовых способностей к кодированию. Этот бенчмарк построен на исторических проблемах GitHub, и распределение его задач больше не отражает точно типы реальных проблем, которые должны решать современные ИИ-помощники по кодированию. По мере роста производительности моделей тестовый набор бенчмарка насыщается, дифференциация снижается, а показатели существующих моделей приближаются к человеческому уровню. Поэтому команда перейдет к новым методам оценки, более сложным и реалистичным.
Ключевые моменты
- OpenAI объявила о прекращении использования бенчмарка SWE-bench Verified для оценки передовых…
- Этот бенчмарк построен на исторических проблемах GitHub,и распределение его задач больше не…
- По мере роста производительности моделей тестовый набор бенчмарка насыщается,дифференциация…
- Поэтому команда перейдет к новым методам оценки,более сложным и реалистичным.
Кратко
- Опубликовано
- Обновлено
- Источник
- OpenAI:官网动态(RSS · 排除企业/客户案例)
- Категория
- Мнения
- Оценка ИИ
- 71
OpenAI 亲自给 SWE-bench Verified 判了死刑,这比任何第三方评测都有说服力。做 coding agent 选型的人该认真想想,你的 benchmark 体系是不是也该换了。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Почему SWE-bench Verified больше не измеряет передовые способности к кодированию. 27 апреля 2026. https://new.nat6.net/ru/news/cmog2im0800vbslr37vxebh5g/