Claude 3.5 Sonnet установил рекорд в бенчмарке SWE-bench Verified
Оригинальный заголовок:Raising the bar on SWE-bench Verified with Claude 3.5 Sonnet
ИИ-резюме
Обновлённая версия Claude 3.5 Sonnet достигла 49% решаемости в бенчмарке оценки программной инженерии SWE-bench Verified, превзойдя 45% предыдущей лучшей модели. Этот бенчмарк проверяет способность ИИ-моделей выполнять задачи программной инженерии на реальных проблемах GitHub: модель должна понять, изменить и протестировать код в заданной среде, а результат в итоге проверяется исходными модульными тестами. Агентная конструкция команды Claude проста и включает только подсказки, инструмент Bash и инструмент редактирования, давая модели достаточную свободу самостоятельных суждений для решения задач гибкими шагами. На данный момент ни одна модель не преодолела порог 50% решаемости в этом бенчмарке.
Ключевые моменты
- Обновлённая версия Claude 3.
- 5 Sonnet достигла 49% решаемости в бенчмарке оценки программной инженерии SWE-bench…
- Этот бенчмарк проверяет способность ИИ-моделей выполнять задачи программной инженерии на реальных…
- Агентная конструкция команды Claude проста и включает только подсказки,инструмент Bash и…
- На данный момент ни одна модель не преодолела порог 50% решаемости в этом бенчмарке.
Кратко
- Опубликовано
- Обновлено
- Категория
- Туториалы и советы
- Оценка ИИ
- 72
Anthropic 把自家 SWE-bench agent 的 prompt、工具设计和踩坑经验全公开了,做 coding agent 的人可以直接抄作业,比看十篇二手解读都管用。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Claude 3.5 Sonnet установил рекорд в бенчмарке SWE-bench Verified. 6 января 2025. https://new.nat6.net/ru/news/cmorb7ml1008rslhfl2itv1d3/