Answer.AI 实测 Devin:20 项任务仅 3 次成功,自主编程能力存疑
原文标题:Thoughts On A Month With Devin
AI 摘要
Answer.AI 团队对 AI 软件工程师 Devin 进行了为期一个月的深度测试。尽管早期在 API 集成等简单任务中表现尚可,但在扩展至新项目创建、研究及代码修改等 20 项真实任务时,结果令人失望:仅 3 项成功,14 项失败,且无法预测成败规律。Devin 常陷入技术死胡同、生成过度复杂的“面条代码”,或在面对不可行任务时产生幻觉并浪费大量时间。文章指出其实际表现远低于宣传预期,难以替代人类开发者。
关键信息
- Answer.
- AI 团队对 AI 软件工程师 Devin 进行了为期一个月的深度测试。
- 尽管早期在 API 集成等简单任务中表现尚可,但在扩展至新项目创建、研究及代码修改等 20 项真实任务时,结果令人失望:仅 3 项成功,14 项失败,且无法预测成败规律。
- Devin 常陷入技术死胡同、生成过度复杂的“面条代码”,或在面对不可行任务时产生幻觉并浪费大量时间。
- 文章指出其实际表现远低于宣传预期,难以替代人类开发者
速览
- 发布时间
- 更新时间
- 分类
- 观点与评论
- AI 评分
- 78
推荐理由
来自知名 AI 评测机构的详实一手数据,揭示了明星产品 Devin 在真实工作流中的局限性,为评估当前自主编程 Agent 的实际成熟度提供了重要参考。
来源与版权
本文基于 AIHOT 公开 API 的精选标题与 AI 摘要整理,已注明来源并回链;原文版权归原媒体与作者所有,本站不镜像全文。
如何引用
引用本文时请保留标题、日期与永久链接,并注明来源为橙子新闻。
橙子新闻:Answer.AI 实测 Devin:20 项任务仅 3 次成功,自主编程能力存疑。2025年1月8日。https://new.nat6.net/news/yu0x1iq7drpkrq8fsc6ydk4cb/