Инфраструктурные помехи при оценке агентного кодирования
Оригинальный заголовок:Quantifying infrastructure noise in agentic coding evals
ИИ-резюме
Исследование показало, что в агентных бенчмарках кодирования, таких как SWE-bench, различия в конфигурации инфраструктуры могут влиять на оценку модели сильнее, чем небольшая разница между ведущими моделями в рейтинге. Внутренние эксперименты на Terminal-Bench 2.0 выявили разницу в 6% между успешностью при самых строгих и самых мягких настройках ресурсов. Жёсткое ограничение ресурсов приводит к тому, что почти 6% задач завершаются неудачей из-за неожиданного завершения контейнера, тогда как при мягкой конфигурации доля таких ошибок снижается до 0,5%. Когда запас ресурсов превышает спецификацию бенчмарка в 3 раза, агент может за счёт дополнительных ресурсов успешно выполнить задачи, изначально казавшиеся неразрешимыми. Это показывает, что среда оценки влияет не только на стабильность тестирования, но и на то, какие именно способности фактически измеряет бенчмарк.
Ключевые моменты
- Исследование показало,что в агентных бенчмарках кодирования,таких как SWE-bench,различия в…
- Внутренние эксперименты на Terminal-Bench 2.
- 0 выявили разницу в 6% между успешностью при самых строгих и самых мягких настройках ресурсов.
- Жёсткое ограничение ресурсов приводит к тому,что почти 6% задач завершаются неудачей из-за…
- Когда запас ресурсов превышает спецификацию бенчмарка в 3 раза,агент может за счёт дополнительных…
Кратко
- Опубликовано
- Обновлено
- Категория
- Статьи и исследования
- Оценка ИИ
- 74
Anthropic 用自家数据证明,agentic coding benchmark 的排行榜差距可能只是硬件配置差异而非模型能力差距,3 个百分点以内的领先都该打问号。做模型选型的人别再迷信那几个百分点了。
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Инфраструктурные помехи при оценке агентного кодирования. 5 февраля 2026. https://new.nat6.net/ru/news/cmorb7ml0008bslhfiqfwufv7/