Cognition опубликовала технический отчёт о Devin на SWE-bench
Оригинальный заголовок:SWE-bench technical report
ИИ-резюме
Cognition опубликовала технический отчёт о Devin на SWE-bench: в случайной выборке из 570 тестов Devin решил 79 задач с успешностью 13,86%, что выше прежнего сильнейшего базового уровня с подсказками Claude 2 (4,80%) и без подсказок (1,96%).
Ключевые моменты
- Cognition опубликовала технический отчёт о Devin на SWE-bench: в случайной выборке из 570 тестов…
- что выше прежнего сильнейшего базового уровня с подсказками Claude 2 (4
- 80%) и без подсказок (1
Кратко
- Опубликовано
- Обновлено
- Источник
- Cognition 模型 / Devin 博客(网页)
- Категория
- Статьи и исследования
- Оценка ИИ
- 68
Cognition 公开了评测方法和 Devin 的代码编辑结果,读者可以对照复现并理解智能体在真实仓库上解题的边界。
Связанные сущности
Источник и авторские права
Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.
Как цитировать
При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.
Orange News: Cognition опубликовала технический отчёт о Devin на SWE-bench. 15 марта 2024. https://new.nat6.net/ru/news/s3ow9hpx0t1eg58icse78hr4f/