Туториалы и советы

Claude 3.5 Sonnet установил рекорд в бенчмарке SWE-bench Verified

Оригинальный заголовок:Raising the bar on SWE-bench Verified with Claude 3.5 Sonnet

ИИ-резюме

Обновлённая версия Claude 3.5 Sonnet достигла 49% решаемости в бенчмарке оценки программной инженерии SWE-bench Verified, превзойдя 45% предыдущей лучшей модели. Этот бенчмарк проверяет способность ИИ-моделей выполнять задачи программной инженерии на реальных проблемах GitHub: модель должна понять, изменить и протестировать код в заданной среде, а результат в итоге проверяется исходными модульными тестами. Агентная конструкция команды Claude проста и включает только подсказки, инструмент Bash и инструмент редактирования, давая модели достаточную свободу самостоятельных суждений для решения задач гибкими шагами. На данный момент ни одна модель не преодолела порог 50% решаемости в этом бенчмарке.

Ключевые моменты

  • Обновлённая версия Claude 3.
  • 5 Sonnet достигла 49% решаемости в бенчмарке оценки программной инженерии SWE-bench…
  • Этот бенчмарк проверяет способность ИИ-моделей выполнять задачи программной инженерии на реальных…
  • Агентная конструкция команды Claude проста и включает только подсказки,инструмент Bash и…
  • На данный момент ни одна модель не преодолела порог 50% решаемости в этом бенчмарке.

Кратко

Опубликовано
Обновлено
Источник
Anthropic:Engineering(事故复盘 + 工程实践 · 网页)
Категория
Туториалы и советы
Оценка ИИ
72
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

Anthropic 把自家 SWE-bench agent 的 prompt、工具设计和踩坑经验全公开了,做 coding agent 的人可以直接抄作业,比看十篇二手解读都管用。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Claude 3.5 Sonnet установил рекорд в бенчмарке SWE-bench Verified. 6 января 2025. https://new.nat6.net/ru/news/cmorb7ml1008rslhfl2itv1d3/

Смотреть все →