Статьи и исследования

Аудит OpenAI выявил дефекты примерно в 30% задач SWE-Bench Pro

Оригинальный заголовок:Separating signal from noise in coding evaluations

ИИ-резюме

OpenAI провела детальный аудит бенчмарка для оценки кодирования SWE-Bench Pro и обнаружила дефекты примерно в 30% задач. В публичном подмножестве из 731 задачи доля прохождения у передовых моделей за восемь месяцев выросла с 23,3% до 80,3%, но проверка качества данных показала, что во многих задачах тесты слишком строгие, описание в prompt недостаточное, покрытие тестами неполное или подсказки вводят в заблуждение. OpenAI рекомендует разработчикам моделей внимательно изучать результаты оценки и отмечает растущую полезность AI-агентов при масштабной проверке качества данных.

Ключевые моменты

  • OpenAI провела детальный аудит бенчмарка для оценки кодирования SWE-Bench Pro и обнаружила дефекты…
  • В публичном подмножестве из 731 задачи доля прохождения у передовых моделей за восемь месяцев…
  • OpenAI рекомендует разработчикам моделей внимательно изучать результаты оценки и отмечает растущую…

Кратко

Опубликовано
Обновлено
Источник
OpenAI:官网动态(RSS · 排除企业/客户案例)
Категория
Статьи и исследования
Оценка ИИ
70
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

OpenAI 自己审计了 SWE-Bench Pro,发现三成任务有缺陷,这个基准给出来的分数可能要打问号,做模型评测和选型的人该认真看看。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Аудит OpenAI выявил дефекты примерно в 30% задач SWE-Bench Pro. 8 июля 2026. https://new.nat6.net/ru/news/cmrcigf5k01bqihx54i8oph9u/

Смотреть все →