Мнения

Почему SWE-bench Verified больше не измеряет передовые способности к кодированию

ИИ-резюме

OpenAI объявила о прекращении использования бенчмарка SWE-bench Verified для оценки передовых способностей к кодированию. Этот бенчмарк построен на исторических проблемах GitHub, и распределение его задач больше не отражает точно типы реальных проблем, которые должны решать современные ИИ-помощники по кодированию. По мере роста производительности моделей тестовый набор бенчмарка насыщается, дифференциация снижается, а показатели существующих моделей приближаются к человеческому уровню. Поэтому команда перейдет к новым методам оценки, более сложным и реалистичным.

Ключевые моменты

  • OpenAI объявила о прекращении использования бенчмарка SWE-bench Verified для оценки передовых…
  • Этот бенчмарк построен на исторических проблемах GitHub,и распределение его задач больше не…
  • По мере роста производительности моделей тестовый набор бенчмарка насыщается,дифференциация…
  • Поэтому команда перейдет к новым методам оценки,более сложным и реалистичным.

Кратко

Опубликовано
Обновлено
Источник
OpenAI:官网动态(RSS · 排除企业/客户案例)
Категория
Мнения
Оценка ИИ
71
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

OpenAI 亲自给 SWE-bench Verified 判了死刑,这比任何第三方评测都有说服力。做 coding agent 选型的人该认真想想,你的 benchmark 体系是不是也该换了。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Почему SWE-bench Verified больше не измеряет передовые способности к кодированию. 27 апреля 2026. https://new.nat6.net/ru/news/cmog2im0800vbslr37vxebh5g/

Смотреть все →