Статьи и исследования

Инфраструктурные помехи при оценке агентного кодирования

Оригинальный заголовок:Quantifying infrastructure noise in agentic coding evals

ИИ-резюме

Исследование показало, что в агентных бенчмарках кодирования, таких как SWE-bench, различия в конфигурации инфраструктуры могут влиять на оценку модели сильнее, чем небольшая разница между ведущими моделями в рейтинге. Внутренние эксперименты на Terminal-Bench 2.0 выявили разницу в 6% между успешностью при самых строгих и самых мягких настройках ресурсов. Жёсткое ограничение ресурсов приводит к тому, что почти 6% задач завершаются неудачей из-за неожиданного завершения контейнера, тогда как при мягкой конфигурации доля таких ошибок снижается до 0,5%. Когда запас ресурсов превышает спецификацию бенчмарка в 3 раза, агент может за счёт дополнительных ресурсов успешно выполнить задачи, изначально казавшиеся неразрешимыми. Это показывает, что среда оценки влияет не только на стабильность тестирования, но и на то, какие именно способности фактически измеряет бенчмарк.

Ключевые моменты

  • Исследование показало,что в агентных бенчмарках кодирования,таких как SWE-bench,различия в…
  • Внутренние эксперименты на Terminal-Bench 2.
  • 0 выявили разницу в 6% между успешностью при самых строгих и самых мягких настройках ресурсов.
  • Жёсткое ограничение ресурсов приводит к тому,что почти 6% задач завершаются неудачей из-за…
  • Когда запас ресурсов превышает спецификацию бенчмарка в 3 раза,агент может за счёт дополнительных…

Кратко

Опубликовано
Обновлено
Источник
Anthropic:Engineering(事故复盘 + 工程实践 · 网页)
Категория
Статьи и исследования
Оценка ИИ
74
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

Anthropic 用自家数据证明,agentic coding benchmark 的排行榜差距可能只是硬件配置差异而非模型能力差距,3 个百分点以内的领先都该打问号。做模型选型的人别再迷信那几个百分点了。

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Инфраструктурные помехи при оценке агентного кодирования. 5 февраля 2026. https://new.nat6.net/ru/news/cmorb7ml0008bslhfiqfwufv7/

Смотреть все →