Аудит OpenAI выявил дефекты примерно в 30% задач SWE-Bench Pro
Оригинальный заголовок:Separating signal from noise in coding evaluations
ИИ-резюме
OpenAI провела детальный аудит бенчмарка для оценки кодирования SWE-Bench Pro и обнаружила дефекты примерно в 30% задач. В публичном подмножестве из 731 задачи доля прохождения у передовых моделей за восемь месяцев выросла с 23,3% до 80,3%, но проверка качества данных показала, что во многих задачах тесты слишком строгие, описание в prompt недостаточное, покрытие тестами неполное или подсказки вводят в заблуждение. OpenAI рекомендует разработчикам моделей внимательно изучать результаты оценки и отмечает растущую полезность AI-агентов при масштабной проверке качества данных.
Ключевые моменты
- OpenAI провела детальный аудит бенчмарка для оценки кодирования SWE-Bench Pro и обнаружила дефекты…
- В публичном подмножестве из 731 задачи доля прохождения у передовых моделей за восемь месяцев…
- OpenAI рекомендует разработчикам моделей внимательно изучать результаты оценки и отмечает растущую…
Кратко
- Опубликовано
- Обновлено
- Источник
- OpenAI:官网动态(RSS · 排除企业/客户案例)
- Категория
- Статьи и исследования
- Оценка ИИ
- 70
OpenAI 自己审计了 SWE-Bench Pro,发现三成任务有缺陷,这个基准给出来的分数可能要打问号,做模型评测和选型的人该认真看看。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Аудит OpenAI выявил дефекты примерно в 30% задач SWE-Bench Pro. 8 июля 2026. https://new.nat6.net/ru/news/cmrcigf5k01bqihx54i8oph9u/