Статьи и исследования

Cognition опубликовала технический отчёт о Devin на SWE-bench

Оригинальный заголовок:SWE-bench technical report

ИИ-резюме

Cognition опубликовала технический отчёт о Devin на SWE-bench: в случайной выборке из 570 тестов Devin решил 79 задач с успешностью 13,86%, что выше прежнего сильнейшего базового уровня с подсказками Claude 2 (4,80%) и без подсказок (1,96%).

Ключевые моменты

  • Cognition опубликовала технический отчёт о Devin на SWE-bench: в случайной выборке из 570 тестов…
  • что выше прежнего сильнейшего базового уровня с подсказками Claude 2 (4
  • 80%) и без подсказок (1

Кратко

Опубликовано
Обновлено
Источник
Cognition 模型 / Devin 博客(网页)
Категория
Статьи и исследования
Оценка ИИ
68
Читать оригинал Читать полную статью в первоисточнике
Почему это важно

Cognition 公开了评测方法和 Devin 的代码编辑结果,读者可以对照复现并理解智能体在真实仓库上解题的边界。

Связанные сущности

Источник и авторские права

Статья основана на отобранных заголовках и ИИ-резюме из открытого API AIHOT с указанием источника и обратными ссылками. Авторские права на оригинал принадлежат исходным изданиям и авторам; сайт не воспроизводит полные тексты.

Оригинал статьи · Материал на AIHOT

Как цитировать

При цитировании сохраняйте заголовок, дату и постоянную ссылку, указывая источник: Orange News.

Orange News: Cognition опубликовала технический отчёт о Devin на SWE-bench. 15 марта 2024. https://new.nat6.net/ru/news/s3ow9hpx0t1eg58icse78hr4f/

Смотреть все →