论文与研究

Cognition 发布 Devin 的 SWE-bench 技术报告

原文标题:SWE-bench technical report

AI 摘要

Cognition 发布 Devin 在 SWE-bench 上的技术报告,Devin 在随机抽取的 570 个测试集中解决 79 个问题,成功率 13.86%,高于此前最强的辅助设定基线 Claude 2 的 4.80% 和无辅助设定的 1.96%。

关键信息

  • Cognition 发布 Devin 在 SWE-bench 上的技术报告,Devin 在随机抽取的 570 个测试集中解决 79 个问题,成功率 13.
  • 86%,高于此前最强的辅助设定基线 Claude 2 的 4.
  • 80% 和无辅助设定的 1.
  • Cognition 公开了评测方法和 Devin 的代码编辑结果,读者可以对照复现并理解智能体在真实仓库上解题的边界

速览

发布时间
更新时间
来源
Cognition 模型 / Devin 博客(网页)
分类
论文与研究
AI 评分
68
阅读原文 前往信息源阅读完整正文
推荐理由

Cognition 公开了评测方法和 Devin 的代码编辑结果,读者可以对照复现并理解智能体在真实仓库上解题的边界。

相关实体

来源与版权

本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。

原文链接 · AIHOT 条目

如何引用

引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。

橙子新闻:Cognition 发布 Devin 的 SWE-bench 技术报告。2024年3月15日。https://new.nat6.net/news/s3ow9hpx0t1eg58icse78hr4f/

查看全部 →