Cognition 发布 Devin 的 SWE-bench 技术报告
原文标题:SWE-bench technical report
AI 摘要
Cognition 发布 Devin 在 SWE-bench 上的技术报告,Devin 在随机抽取的 570 个测试集中解决 79 个问题,成功率 13.86%,高于此前最强的辅助设定基线 Claude 2 的 4.80% 和无辅助设定的 1.96%。
关键信息
- Cognition 发布 Devin 在 SWE-bench 上的技术报告,Devin 在随机抽取的 570 个测试集中解决 79 个问题,成功率 13.
- 86%,高于此前最强的辅助设定基线 Claude 2 的 4.
- 80% 和无辅助设定的 1.
- Cognition 公开了评测方法和 Devin 的代码编辑结果,读者可以对照复现并理解智能体在真实仓库上解题的边界
速览
- 发布时间
- 更新时间
- 分类
- 论文与研究
- AI 评分
- 68
推荐理由
Cognition 公开了评测方法和 Devin 的代码编辑结果,读者可以对照复现并理解智能体在真实仓库上解题的边界。
相关实体
来源与版权
本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。
如何引用
引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。
橙子新闻:Cognition 发布 Devin 的 SWE-bench 技术报告。2024年3月15日。https://new.nat6.net/news/s3ow9hpx0t1eg58icse78hr4f/